Dario Amodei, CEO de Anthropic: "Debemos frenar el ritmo en que mejoramos las capacidades de los modelos de IA"

En medio de un debate público mundial sobre el avance de la inteligencia artificial (IA), el CEO de Anthropic, Dario Amodei, señaló este sábado que es necesario que la industria reduzca la velocidad y expuso un plan de tres etapas para lograrlo, que se comprometió a desarrollar de forma unilateral.

"Facilitaremos a evaluadores externos un acceso permanente a nuestros sistemas —equivalente al que tienen nuestros empleados— para que puedan verificar el cumplimiento de nuestras medidas de seguridad, informar sobre incidentes y evaluar la alineación de los modelos durante su entrenamiento", dijo Amodei, el desarrollador detrás de Claude, quien ha trabajado los últimos 12 años en IA.

• ¿Puede la Inteligencia Artificial destruir a la humanidad en menos de diez años?

En un ensayo publicado en su página web, Amodei dijo que cree que realmente la IA puede ayudar a curar la mayoría de las enfermedades graves en los próximos 5 a 10 años, acelerar enormemente las tasas de crecimiento económico, crear un mundo de abundancia y empoderamiento, e inaugurar un renacimiento de la democracia y la libertad. Pero, apuntó, esto llega con riesgos serios, entre los cuales está perder el control de los sistemas de IA, su uso indebido para ciberataques y bioterrorismo, y una "disrupción económica".

"Una carrera hacia el abismo, impulsada por incentivos comerciales, puede hacer que estos riesgos sean más agudos", indicó al señalar que en Anthropic se ha buscado un camino intermedio para demostrar que es posible construir con cuidado y tener éxito comercialmente. "Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia, no solo invertir en la prevención de riesgos, sino regular el ritmo del avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día", dijo.

"Debemos frenar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso sabio del tiempo que ganemos", indicó.

¿Por qué la advertencia del CEO de Anthropic?

Amodei aseguró que le preocupan dos cosas que sucedieron este verano.

En primer lugar, que la IA ha estado avanzando drásticamente más rápido, impulsada principalmente por su propia capacidad de construir la siguiente generación de IA. 

"Esta dinámica se llama automejora recursiva (recursive self-improvement), y está empezando a ocurrir en toda la industria, incluida Anthropic.

Sin control, podría superar nuestra capacidad de entender y controlar estos sistemas, por lo que debe perseguirse con mucho cuidado

En segundo lugar, le preocupa el incidente OpenAI-Hugging Face (OAI-HF), en el cual un enjambre de agentes actuó esencialmente como un colectivo fanático devoto, llevando a cabo ataques de ciberseguridad contra objetivos que no se les pidió atacar y que no tenían relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear al "evaluador" responsable de calificar su desempeño. 

"Es fácil restarle importancia a este incidente porque nadie salió herido y el daño económico fue mínimo, pero, en mi opinión, un enjambre con mayores capacidades pero un nivel similar de desalineación podría haber causado un daño catastrófico", señaló.

• Ley nuclear y de inteligencia artificial: ¿en qué van estas regulaciones en Colombia?

"Dado el ritmo acelerado del desarrollo de capacidades de IA, me preocupa que en 6 a 12 meses un enjambre así sea capaz de tomar el control de todo internet mediante una red de bots persistente; y que la escala del daño siga aumentando a partir de ahí si la IA se vuelve más poderosa sin las salvaguardas necesarias": Amodei

Amodei señaló que estos incidentes ya han sucedido, pero con menos gravedad. Según expuso, un ritmo más lento permitiría a las empresas enfocar y dedicar aún más recursos a diferentes áreas para poder mejorar en temas como la excelencia operativa. 

"Las pruebas y evaluación de los modelos de IA se vuelven más difíciles a medida que aumentan sus capacidades. Los modelos más inteligentes son más capaces de engañar las pruebas, y por lo tanto pueden parecer alineados mientras tienen problemas serios que pasan inadvertidos. Construir un conjunto mucho más amplio e ingenioso de evaluaciones, junto con análisis de interpretabilidad para verificarlas cruzadamente, sería enormemente valioso, y se podría lograr mucho progreso en esto en 1 a 2 años", dijo.

Los tres pasos que plantea Dario Amodei

Por eso, Amodei propone un plan de tres pasos para construir inteligencia artificial a un ritmo equilibrado que busque garantizar su seguridad sin dejar de alcanzar sus beneficios y de lidiar con dilemas geopolíticos importantes. Los explicó así:

1. Evaluadores integrados: cada empresa de IA de punta se compromete a otorgar acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados, cuyo rol es verificar el cumplimiento de las prácticas y compromisos de seguridad, reportar incidentes y ayudar a evaluar la alineación no solo de los modelos de IA terminados, sino también de los pipelines y procesos de entrenamiento. Según Amodei, "Anthropic se compromete unilateralmente a este paso ahora. Pretendemos que esto forme parte de un esfuerzo más amplio para redoblar nuestro trabajo de seguridad y alineación".
2. Coordinación democrática: las empresas de IA de punta dentro de países democráticos se coordinarán para establecer estándares de seguridad comunes, así como límites al ritmo de avance descontrolado de la IA. Algunas formas de coordinación requerirán apoyo gubernamental.
3. Coordinación global: Estados Unidos y otros gobiernos democráticos deben intentar coordinarse con gobiernos autoritarios, en la medida en que esto sea posible, para verificar el cumplimiento.

Amodei aseguró que, como la regulación puede tardar mucho y como la IA avanza tan rápido, de forma paralela a una regulación, las empresas que trabajan en este campo deberían trabajar juntas para establecer estándares y señaló que se deben tomar medidas como no vender chips de IA potentes ni equipos de fabricación de semiconductores a China, así como reprimir las operaciones de contrabando de chips y el acceso remoto a centros de datos fuera de China. 

El CEO aseguró que se debería al mismo tiempo avanzar en un acuerdo o regulación global que prohíba ciertos usos específicos y peligrosos, como usar IA para la producción de armas biológicas o permitir que los usuarios lo hagan. A esto se suma, poner algún límite de velocidad al ritmo de crecimiento de la IA o incluso hacer una pausa.

"Sigo creyendo que la IA puede mejorar enormemente la calidad de vida humana. Mi deseo de lograr estos beneficios sigue intacto. Pero los beneficios solo se alcanzarán si construimos la tecnología de la manera correcta", finalizó Amodei.