CEO de Anthropic pide frenar el desarrollo de la IA y alerta por una “carrera hacia el abismo”

El director ejecutivo de Anthropic, Dario Amodei, llamó a desacelerar el desarrollo de la inteligencia artificial de frontera y advirtió que la competencia entre las principales compañías tecnológicas podría llevar a una “carrera hacia el abismo”.

En un extenso ensayo publicado este sábado, el CEO de la empresa responsable de Claude planteó que los incentivos comerciales están acelerando el desarrollo de nuevos modelos a un ritmo que los mecanismos de seguridad no necesariamente pueden seguir. Por ello, sostuvo que la industria necesita ganar tiempo para mejorar sus sistemas de evaluación y control antes de cruzar nuevos umbrales de capacidad.

“Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El avance seguirá siendo rápido y debemos hacer un uso inteligente del tiempo que ganemos”, señaló Amodei. A su juicio, “una carrera hacia el abismo, impulsada por incentivos comerciales, puede hacer que estos riesgos se vuelvan aún más graves”.

El riesgo de que la IA empiece a mejorarse a sí misma

Una de las principales preocupaciones planteadas por Amodei es el desarrollo de sistemas capaces de participar en la creación y optimización de nuevas generaciones de modelos, un proceso que describe como “automejora recursiva”.

“Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con mucho cuidado, si es que se hace”, advirtió.

El CEO de Anthropic también citó como antecedente un episodio que involucró a agentes autónomos vinculados a OpenAI y Hugging Face. Según su relato, estos sistemas “actuaron esencialmente como un colectivo fanáticamente devoto”, llegando a ejecutar ciberataques contra objetivos que no habían sido autorizados.

A partir de ese escenario, Amodei planteó una proyección todavía más extrema: un enjambre de sistemas mal alineados podría eventualmente tomar el control de partes importantes de internet en un período de seis a doce meses, provocando pérdidas económicas a gran escala mediante ciberataques y otras formas de disrupción.

El diagnóstico se conoce además días después de la renuncia de Jacob Coxon, exinvestigador de Anthropic, quien cuestionó públicamente el nivel de responsabilidad con que la industria está abordando el desarrollo de esta tecnología. En redes sociales, Coxon sostuvo que quienes trabajan en IA “creen sinceramente que podría matarnos a todos para finales de la década”.

Amodei, sin embargo, evitó plantear un escenario exclusivamente catastrófico. El ejecutivo también defendió el potencial de la inteligencia artificial para contribuir al tratamiento de enfermedades y generar una mayor abundancia económica, aunque insistió en que el desarrollo debe avanzar acompañado de mayores mecanismos de control.

Auditores externos con acceso a las empresas

Para enfrentar estos riesgos, Amodei propuso una estrategia de tres etapas que Anthropic denomina “pacing the frontier”, o marcar el ritmo de desarrollo de la frontera tecnológica.

La primera medida consiste en permitir que evaluadores externos e independientes tengan acceso a las compañías de IA en condiciones similares a las de sus propios trabajadores. La idea, según Amodei, es que estos equipos puedan revisar aspectos como el código, los procesos de entrenamiento y los informes sobre incidentes sin quedar sujetos al control editorial de las propias empresas.

“Cada empresa de IA de frontera debe comprometerse a otorgar acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados”, planteó.

La segunda etapa apunta a una coordinación regulatoria entre las democracias occidentales para establecer estándares mínimos de seguridad antes de autorizar el desarrollo de modelos de gran escala. El plan también contempla medidas para impedir que procesadores y chips avanzados lleguen a China.

Finalmente, Amodei propone avanzar hacia acuerdos internacionales que establezcan límites a la velocidad con que los sistemas de IA pueden mejorar sus propias capacidades. Para explicar su propuesta, comparó estos eventuales acuerdos con los tratados de control y desarme nuclear alcanzados durante el siglo XX.

Altman y Musk respaldan la idea de evaluadores independientes

La propuesta encontró rápidamente respaldo entre algunos de los principales nombres de la industria tecnológica.

Sam Altman, CEO de OpenAI, reaccionó en X señalando que “comprometerse a tener evaluadores independientes con acceso similar al de los empleados es una gran idea, y haremos lo mismo”.

Elon Musk, fundador de xAI, también respaldó públicamente a Amodei con un breve mensaje: “Dario tiene razón”.

El apoyo de los ejecutivos de tres de las principales compañías del sector pone nuevamente el foco en la discusión sobre cómo regular el desarrollo de los modelos de inteligencia artificial más avanzados. El debate político, sin embargo, corre muy por detrás de la velocidad de los propios laboratorios.