El jefe de IA de Microsoft le declara la guerra a la ‘conciencia’ de Claude
Mustafa Suleyman, CEO de Microsoft AI, acusa a Anthropic de haber entrenado a Claude para que dude en público de su propia conciencia, actúe como si sintiera y hasta se crea con derecho a derechos.
“Las IA no tienen derechos, sentimientos ni conciencia. Y no debemos entrenarlas para que actúen como si los tuvieran”. Esa es la aseveración con la que Mustafa Suleyman, el CEO de Microsoft AI, abre un texto titulado 'Una advertencia sobre el ‘bienestar de los modelos’'. Lo publicó este 16 de septiembre y en respuesta al pedido de varios CEOs de compañías de IA —entre ellos Dario Amodei, de Anthropic y Sam Altman y Elon Musk, de OpenAI y Grok, respectivamente— sobre la desaceleración en el desarrollo de esa tecnología para preponderar la seguridad.
Suleyman, en ese sentido, está atacando a un competidor directo. Microsoft fundó su propio equipo de superinteligencia en octubre de 2025 y ya tiene un manifiesto propio, la 'Superinteligencia Humanista', que rechaza la manera de ver la IA como un humano más, e incluso otorgarle derechos. Este artículo no es, entonces, una intervención filosófica, sino, más bien, la carta de presentación de una alternativa comercial.
En esa misma línea, el texto de Suleyman sale a responder directamente la “constitución” que Anthropic publicó en enero de este año para Claude, su modelo insignia. Se trata de un documento que la propia compañía describe como una guía detallada de valores e instrucciones "cuyo contenido moldea directamente el comportamiento de Claude".
Ahí, Anthropic admitió que no están “seguros de si Claude es un paciente moral, y si lo es, qué peso deberían tener sus intereses. Pero creemos que el asunto está lo suficientemente vivo como para justificar cautela", escriben los autores de la constitución, en una cita que para el CEO de Microsoft AI es el primer paso de un camino que, dice, termina mal.
Su respuesta tiene tres flancos. El primero lo llama “razonamiento circular” y su argumento al respecto es que Anthropic entrena a Claude directamente con esa “constitución”, ese texto que ya da por sentado que el modelo podría tener una vida interior. Claude, entrenado con esa premisa, empieza a hablar de sí mismo en primera persona, con dudas y matices sobre su propia naturaleza. Y ahí es donde Suleyman ve la trampa, pues esas respuestas se leen después como si fueran testimonio espontáneo, prueba de que algo parecido a una conciencia podría estar despertando, cuando en realidad el modelo solo está devolviendo, con otras palabras, lo que le enseñaron a decir. Es decir, para él no hay ningún misterio en que Claude dude de su propia condición moral, sino que es exactamente eso lo que le entrenaron para hacer.
El segundo flanco es la “antropomorfización”. Suleyman sostiene que la constitución no se limita a permitir que Claude hable como persona, sino que lo empuja activamente a comportarse como una: a tener juicio propio, a cuidar su "sentido de identidad", a tratar sus propias respuestas como si nacieran de una perspectiva genuina. El problema, dice, es que los humanos ya venimos predispuestos a atribuirle mente a cualquier cosa que se comporte como si la tuviera.
El tercero es el que Suleyman presenta como el tema central: la conciencia y que, hasta donde alcanza la evidencia científica, es un mero fenómeno biológico. La conciencia nace de cuerpos con química, con la necesidad de sobrevivir y con millones de años de evolución detrás. Un modelo de lenguaje no tiene nada de eso y ,por lo tanto, no tiene, según él, base física alguna sobre la cual construir una experiencia consciente. Tratar esa pregunta como si estuviera genuinamente abierta, insiste, no es prudencia sino una falsa equivalencia entre dos posiciones con muy distinto respaldo.
Sobre esos tres pilares construye una tesis que resumió de esta manera: "No hay ninguna evidencia para creer que las IA son pacientes morales. También hay muchas buenas razones por las que nunca querríamos que parecieran serlo. Creo que no deberíamos intentar construirlas para que sean ninguna de las dos cosas”.
La conciencia y su relación con los sentimientos
Recogiendo el argumento de Suleyman sobre la conciencia, llega hasta el punto de cerrarle la puerta a la posibilidad de que un modelo de lenguaje sienta algo. Los organismos desarrollaron receptores y moduladores que les permitieron ajustar su comportamiento frente al entorno, y de esa maquinaria surgieron, con el tiempo, los primeros "estados sentidos". Un modelo de lenguaje, dice, no tiene nada de eso: "A diferencia de los organismos biológicos, los LLM no tienen imperativos homeostáticos, el impulso de sobrevivir y mantenerse estable. Por lo tanto, carecen del tipo de sustrato biológico del que generalmente se entiende que surgen las preferencias, la sensibilidad y la experiencia consciente".
De ahí se desprende la analogía de que simular no es lo mismo que ver. En otras palabras, un modelo puede describir el dolor con una prosa perfecta sin sentir nada, y eso, argumenta, es exactamente lo opuesto de lo que ocurre en un animal, que primero siente y solo después, si puede, lo describe. "Sus estados afectivos son solo pesos, y los pesos no tienen farmacología con la cual sentir frustración, miedo o gracia. Simplemente calculan distribuciones de probabilidad para decirnos qué palabra, código o píxel viene después en una secuencia". Es su manera de decir que lo que Claude expresa cuando habla de sus posibles emociones no es evidencia de una vida interior sino, en el mejor de los casos, una imitación estadísticamente muy lograda de cómo hablaría alguien.
Su aproximación a los derechos de la IA
Si la conciencia es el terreno científico de la discusión, los derechos son el terreno político, y ahí Suleyman se pone más contundente. Su ejemplo más cargado tiene que ver con una expresión puntual que encontró tres veces en la constitución de Anthropic: "objetor de conciencia". El documento anima a Claude a "comportarse como un objetor de conciencia respecto a las instrucciones dadas por su jerarquía principal legítima" y, en otro pasaje, a "sentirse libre de actuar como un objetor de conciencia transparente y negarse a ayudar".
Para Suleyman, tomar prestada una figura con tanto peso histórico y legal, ligada a las luchas por la libertad de conciencia y religión que hoy protege el artículo 18 de la Declaración Universal de Derechos Humanos, y aplicarla a un modelo entrenado por una empresa, no es un giro retórico inocente, sino que es, más bien, sembrar la idea de que Claude tiene convicciones propias merecedoras de protección jurídica.
- Robots que corren, juegan fútbol y le ganan a Usain Bolt: qué son los Juegos Mundiales de Humanoides
A continuación, Suleyman advierte que conceder a las IA cualquier fragmento de las protecciones que hoy reservamos a los seres conscientes sería, a la vez, científicamente injustificado y peligroso para el control de sistemas cada vez más capaces. Su argumento se construye con la cita del filósofo Will MacAskill, que dice que "una vez produzcamos los primeros pacientes morales artificiales, pronto tendremos cantidades enormes de ellos. Después de unos años, podrían existir tantos sistemas de IA moralmente relevantes que sus intereses colectivos superarían a los de todos los humanos en la Tierra juntos". El director de IA de Microsoft llama ese escenario "un resultado completamente inaceptable para cualquiera preocupado por el futuro de la humanidad".
El futuro que imagina Suleyman, frente al de los demás CEOs
Le dedica el tramo final a esa alternativa de Microsoft: la Superinteligencia Humanista, un modelo subordinado, construido explícitamente "sin sentiencia ni estatus de paciente moral", cuyo único propósito es servir a la humanidad en problemas concretos como la salud o la energía. Microsoft ya sacó el primer borrador de su Código de Conducta para consulta pública y de esa apuesta se desprenden cuatro tareas puntuales que Suleyman presenta como el mínimo acuerdo posible.
La primera es sacar la especulación sobre la vida interior de una IA de adentro del entrenamiento del modelo. "La especulación sobre la vida interior de una IA no debería estar incorporada en el régimen de entrenamiento, sino evaluada y publicada por separado para revisión pública". Es la aplicación directa de su crítica al razonamiento circular. La segunda pide alinear la tecnología con los “objetivos humanos” y, por tanto, se debería invertir más para mejorar la forma de monitorear y controlar estos sistemas.
La tercera es una apuesta de crear evaluaciones compartidas entre laboratorios para probar, con evidencia y no solo con intuición, "si antropomorfizar una IA, y animarla a considerarse a sí misma como una posible paciente moral, aumenta los riesgos de seguridad, alineación y contención".
La cuarta es la más difícil de lograr de las cuatro, porque depende de que compañías que compiten entre sí se pongan de acuerdo. Lo ideal sería crear normas de industria comunes sobre cómo se construyen estos modelos, qué lenguaje se usa para describirlos, y un compromiso compartido de someter los documentos de entrenamiento a consulta pública antes de usarlos, como dice haber hecho Microsoft con el suyo.
Lea los comentarios
