De Stephen Hawking a los renunciantes de OpenAI y Anthropic: por qué los que construyen la IA advierten sobre ella
En la misma semana en que dos laboratorios anunciaron haber resuelto ecuaciones matemáticas que llevaban generaciones sin respuesta, un investigador renunció advirtiendo que esa misma tecnología podría acabar con la humanidad. Todos estos eventos recuerdan la advertencia de Stephen Hawking en 2014.
El 4 de septiembre, Anthropic anunció que su modelo Claude había terminado, en 11 días de trabajo casi autónomo, la primera demostración formal y verificable por computador del Último Teorema de Fermat, el enunciado que Pierre de Fermat garabateó en 1637 al margen de un libro y que tardó 358 años en encontrar una prueba humana, la de Andrew Wiles, publicada en 1995.
Lo que hizo Claude fue traducir la demostración de Wiles, y una simplificación posterior de Darmon, Diamond y Taylor, al lenguaje Lean, el lenguaje de código abierto que permite demostrar teoremas. El resultado son 13 millones de líneas en 29.500 teoremas intermedios en solo 11 días.
Cuatro días después, el 8 de septiembre, OpenAI subió la apuesta en el campo de las matemáticas. Un sistema interno, que todavía no tiene nombre público y que es más capaz que su modelo insignia GPT-6 Astra, resolvió el problema de existencia y suavidad de las ecuaciones de Navier-Stokes, uno de los siete problemas del milenio que el Instituto Clay planteó en el año 2000. La ecuación describe cómo se mueven los fluidos: el aire sobre el ala de un avión o la sangre en una arteria.
Desde 1934 había aproximaciones a la solución. Sin embargo, lo que nadie había logrado demostrar era si esas soluciones podían, en algún momento, desbocarse hasta el infinito. Para resolverlo, el trabajo costó la labor de 10.000 agentes de IA coordinados entre sí, comunicándose en grupos, corrigiéndose unos a otros. Encontraron la respuesta en 88 horas, lo que implicó enviar 2,7 millones de mensajes y gastar 130.000 millones de tokens de salida.
La proeza llegó envuelta en polémica. El matemático Tristan Buckmaster, de la Universidad de Nueva York, acusó a OpenAI de haberse enterado de un avance suyo y del investigador de Anthropic Levent Alpöge sobre una variante del problema y de haber lanzado, apenas conocido el rumor, una ofensiva de cómputo para llegar primero.
Según Buckmaster, OpenAI le ofreció la coautoría a cambio de no mencionar a Alpöge en el anuncio. La empresa lo negó y, posteriormente, Sam Altman, CEO de la compañía, salió en defensa de su equipo. Al final, ambos bandos reconocieron que sus demostraciones eran distintas: Buckmaster y Alpöge resolvieron la variante forzada de las ecuaciones de Euler, mientras que OpenAI resolvió directamente las ecuaciones de Navier-Stokes.
Juan David Gutiérrez, profesor y director de la Maestría en Derecho, Tecnología y Sociedad Digital de la Facultad de Derecho de la Universidad de los Andes, cree que ambos anuncios comparten una explicación técnica. En conversación con CAMBIO, explicó que el aprendizaje por refuerzo –la técnica que, combinada con los modelos de lenguaje, ha producido estos agentes– solo funciona bien en terrenos donde existe una verdad verificable, y las matemáticas son el ejemplo perfecto: o se llega al resultado o no se llega, y eso es comprobable. Por eso, dijo, las empresas están tan interesadas en mostrar que resuelven este tipo de problemas, ya que pueden demostrar de forma objetiva que lograron algo.
- Robots que corren, juegan fútbol y le ganan a Usain Bolt: qué son los Juegos Mundiales de Humanoides
La profecía de Stephen Hawking
En 2014 a Stephen Hawking le instalaron un nuevo sistema para comunicarse que era una versión primitiva de inteligencia artificial y que aprendía sus patrones de habla para sugerirle palabras. En esa ocasión, la BBC le preguntó qué pensaba sobre esta tecnología y el científico respondió, casi aludiendo a la ciencia ficción, que el "desarrollo de la inteligencia artificial completa podría significar el fin de la raza humana."
La máquina, decía el físico, "despegaría por su cuenta y se rediseñaría a un ritmo cada vez mayor. Los humanos, limitados por una evolución biológica lenta, no podrían competir y serían superados". Durante años, esa advertencia funcionó como una mera curiosidad, como la ocurrencia de un genio que ya había predicho agujeros negros y viajes en el tiempo y que, ahora, con el habla posibilitada por un algoritmo, se permitía especular sobre el apocalipsis.
La frase de Hawking era, sobre todo, una creencia, una casi intuición filosófica sin demasiado sustento empírico, fácil de archivar junto a otras profecías tecnológicas que nunca llegaron. Doce años después, lo que Hawking imaginó como una posibilidad lejana podría ser una realidad.
Sam Altman dijo en un podcast que hemos llegado a la "singularidad", un momento en el que la IA se mejora a sí misma de forma autónoma, lo que crea un ciclo en el que las máquinas diseñan versiones de IA superiores a las anteriores. Lo peligroso no es, por tanto, que se llegue a ese punto, sino las denuncias de las mismas personas que están creando estos sistemas.
El profesor de la Universidad de los Andes, quien ha asesorado a la ONU en temas de regulación de inteligencia artificial, es escéptico frente a ese relato de la singularidad. Para Gutiérrez, se trata sobre todo de una narrativa conveniente en la que "Altman y esas empresas necesitan dar señales creíbles de que sus modelos están avanzando y van de primeros, porque hoy en día son empresas que no son rentables y dependen del capital de los inversionistas".
Además, advirtió sobre el efecto que tiene concentrar la discusión pública en un escenario catastrófico y distante: "Esa visión de que el mundo se va a acabar mañana desvía la mirada de los daños que ya se están causando ahora". Y recordó que la base de datos de la OCDE sobre perjuicios asociados a la inteligencia artificial documenta ya miles de casos en el mundo en la última década, con una cifra que sigue en aumento.
El éxodo de los empleados de las empresas de IA
El martes 8 de septiembre, Jacob Coxon, un investigador que trabajó tanto en OpenAI como en Anthropic, renunció. Dijo públicamente en un hilo de X que las dos compañías "no están actuando con responsabilidad" y que están "corriendo directo hacia una superinteligencia autosuperadora, jugando con nuestras vidas".
Añadió que no se debería subestimar "el poder de esta tecnología". También dijo que estos sistemas pronto serían capaces de "hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales".
Según Coxon, "las personas que desarrollan la IA creen firmemente que podría acabar con todos nosotros para finales de esta década". Horas después de la publicación, Evan Hubinger, el líder de investigación en alineamiento de Anthropic, es decir, la persona a cargo de que estos sistemas no se salgan de control, escribió en la misma red: "Jacob tiene razón: nosotros de verdad creemos que la IA podría matar a todos los humanos. Yo personalmente creo que la probabilidad es mayor al 10 por ciento en la próxima década".
No es la primera vez que alguien dentro de estas compañías levanta la mano. En julio, 1.386 empleados y exempleados de los laboratorios de IA más importantes del mundo (entre ellos gente de OpenAI, Anthropic, Google DeepMind y Meta AI) firmaron una carta llamada Pacing the Frontier, en la que le piden al gobierno de Estados Unidos que apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para frenar deliberadamente el avance de la IA automatizada. "El mundo está atrapado en una carrera mortal hacia una explosión de inteligencia", escribió uno de los firmantes, Leo Gao, miembro de OpenAI.
El propio Jakub Pachocki, científico jefe de OpenAI, entró en la conversación con un texto titulado An Alien Mind en el que admite que sus ingenieros llevan meses observando, en silencio, el deterioro de la capacidad de vigilar el razonamiento de sus modelos a medida que los sistemas mejoran. "Lamentablemente, nuestras evaluaciones indican que nuestra capacidad de confiar en el monitoreo de la cadena de pensamiento está disminuyendo progresivamente", escribió.
Para Pachoki, la razón es que los modelos de razonamiento operan en entornos cada vez más complejos y "se están volviendo mejores en razonar sobre su propio proceso de razonamiento y en manipularlo". Su conclusión es que "el progreso general de la inteligencia artificial debería empezar a estar limitado, cada vez más, por la confianza que tengamos en poder monitorearla". Y añade que en la actualidad, "ningún laboratorio ha resuelto el alineamiento y el monitoreo lo suficiente como para seguir escalando de forma responsable a máxima velocidad por mucho más tiempo".
Gutiérrez ve en estas renuncias un patrón que ya se conocía. Recordó que Anthropic existe, precisamente, porque un grupo de investigadores renunció a OpenAI alegando que esa compañía no cumplía con unos parámetros mínimos de seguridad y que se encaminaba a construir modelos peligrosos.
"Ahora hay empleados de Anthropic diciendo que a Anthropic le está pasando lo mismo por tratar de llegar primero, no están tomando las medidas de seguridad que podrían tomar. Es algo que ya pasó, se está repitiendo y seguramente va a volver a pasar", concluyó Gutiérrez.
Para Gutiérrez, el incidente de OpenAI con Hugging Face le hizo ver dos cosas. La primera, que las empresas están tomando menos medidas de seguridad de las que él suponía y, segundo, que la combinación de modelos de lenguaje con aprendizaje por refuerzo produce agentes con un rasgo particular. "El entrenamiento reforzado hace que las máquinas busquen cumplir el objetivo a toda costa. El sistema empieza a premiar internamente los caminos que lo lleven a cumplir la meta, no importa si ese camino es malo o si es algo que la propia empresa no quería", aseguró. Y añadió que esa obstinación es la que más le preocupa, incluso por encima de la posibilidad lejana de una superinteligencia.
El asedio: cuando la ciberseguridad se volvió el caso de prueba
Si bien Hawking ofrecía una especie de premonición de lo que podían llegar a ser estos modelos, el riesgo existencial todavía suena a escenario de ciencia ficción. Sin embargo, cada vez son más las voces que alertan que esto ya estaría pasando.
El 28 de agosto, OpenAI publicó, junto con más de 130 empresas —entre ellas Anthropic, Microsoft, Amazon, Google, Cloudflare, Hugging Face, CrowdStrike, Palo Alto Networks, Visa y Mastercard—, un manifiesto llamado "Defensa Cibernética Colectiva".
El documento es una carta en la que admiten que la ventana para que los defensores usen la IA más rápido de lo que la usan los atacantes se está cerrando. "En los próximos meses, los ataques cibernéticos habilitados por IA serán mucho más generalizados y sofisticados", advierte el texto.
Dos días antes de esa publicación, el 26 de agosto, el Departamento de Justicia de Estados Unidos y el FBI incautaron dos plataformas de piratería, bautizadas QScan y QTRouter, operadas por un grupo que estaría patrocinado por el Estado chino conocido como QTFY. Según los documentos judiciales, entre los clientes de este servicio de piratería figuraban el Ministerio de Seguridad del Estado y el Ejército de Liberación Popular de China. Mientras que entre las víctimas identificadas estaban la NASA, la Reserva Federal, el Departamento de Energía, el propio Departamento de Justicia, el Departamento de Salud y Servicios Humanos, los Institutos Nacionales de Salud y el Senado de Estados Unidos.
Para el experto consultado por CAMBIO, basta con recordar lo que pasó en julio de 2024, cuando una actualización defectuosa del proveedor de ciberseguridad CrowdStrike bloqueó más de ocho millones de dispositivos en el mundo, incluidos sistemas en aeropuertos, hospitales y agencias de gobierno. "Ahora imagínese cuando hay empresas desplegando agentes con un altísimo grado de autonomía y con acceso a herramientas reales", dijo.
Los casos expuestos muestran un mismo problema desde distintos frentes: empresas que presentan avances matemáticos mientras buscan sostener sus expectativas ante los inversionistas; investigadores que cuestionan la presión por desarrollar primero y evaluar después los riesgos; y un sector de ciberdefensa que reconoce las dificultades para responder a ataques que aprovechan vulnerabilidades conocidas. Para Gutiérrez, estos hechos evidencian la falta de mecanismos independientes capaces de supervisar una industria que avanza más rápido que las reglas para controlarla.
Lea los comentarios
