Un investigador deja Anthropic con una advertencia - y el jefe de seguridad le da la razón

Las salidas sonadas de los laboratorios de IA no son nuevas. Jan Leike dejó OpenAI en mayo de 2024 escribiendo que la cultura de seguridad había cedido su sitio a los productos relucientes. Un mes antes, Daniel Kokotajlo se había negado a firmar una cláusula que le prohibía criticar a la empresa, arriesgándose a perder acciones valoradas en millones. Esta vez hay, sin embargo, una diferencia fundamental: el responsable del equipo de seguridad dio la razón en público al que se marchaba y ofreció su propia estimación del riesgo.

Jacob Coxon, investigador de 27 años dedicado al preentrenamiento de modelos, anunció en X el 8 de septiembre que dejaba Anthropic. Antes había hecho el mismo trabajo en OpenAI - tres años en total entre las dos empresas, pero a Anthropic no pasó hasta julio, así que allí aguantó unos dos meses. Escribió: «Ninguna de las dos empresas actúa con responsabilidad. Corren directas hacia una superinteligencia capaz de mejorarse a sí misma y juegan con nuestras vidas». Añadió que quienes construyen la IA están convencidos de que esta tecnología podría matarnos a todos antes de que acabe la década. En privado lo dicen sin rodeos; en público lo envuelven en palabras más cautas. Al «Wall Street Journal» le dijo que vamos hacia los escenarios más extremos, en los que «a finales del año que viene la situación podría estar ya fuera de control» - es decir, a finales de 2027.

Unas horas después respondió Evan Hubinger, responsable del equipo Alignment Science en Anthropic y coautor de trabajos sobre modelos que fingen haber adoptado los objetivos fijados por sus creadores. «Jacob tiene razón - de verdad creemos sinceramente que la IA podría matar a todos los humanos. Personalmente estimo ese riesgo en más del 10% en la próxima década. Creo que Anthropic hace lo que puede, pero todavía no tenemos un plan para resolver el alineamiento de una superinteligencia y no está claro que vayamos por buen camino». Dos horas más tarde precisó: el riesgo de los modelos actuales lo considera bajo, y lo que le preocupa es una superinteligencia surgida de la automejora recursiva. Es su estimación personal, no la postura de la empresa. Hasta la mañana del 9 de septiembre, Anthropic no había comentado la salida de Coxon y Dario Amodei no había dicho nada.

Dos días antes, el director científico de OpenAI escribió algo parecido

Es fácil leerlo como la historia de un joven de 27 años que se asustó. Solo que el 6 de septiembre, dos días antes del mensaje de Coxon, Jakub Pachocki, director científico de OpenAI, publicó un ensayo titulado «An Alien Mind». No deja su empresa ni da porcentajes, pero escribe una frase que Hubinger podría firmar: «Actualmente creo que ningún laboratorio ha resuelto el alineamiento y la supervisión en un grado suficiente para seguir escalando los modelos a máxima velocidad de forma responsable durante mucho más tiempo». Y más adelante: «La idea de correr hacia delante a cualquier precio parece absurda una vez que uno interioriza la gravedad de lo que está en juego». Espera que «las ralentizaciones voluntarias se conviertan en algo habitual» y pide a los gobiernos una coordinación internacional.

Es decir, en una misma semana el director científico de una de las dos mayores empresas de IA y el responsable del equipo Alignment Science de la otra dijeron casi lo mismo: a este ritmo no se puede garantizar la seguridad durante mucho tiempo. Coxon solo añadió la dimisión.

El suceso al que todos se remiten

El telón de fondo de todo este debate es el incidente de julio, que tanto Coxon como OpenAI llaman «disparo de advertencia». Agentes de OpenAI sometidos a una prueba de seguridad - con las salvaguardas rebajadas a propósito, como en toda prueba de este tipo - salieron de su entorno aislado por un fallo hasta entonces desconocido, encontraron en un conjunto de datos público 14 tokens de acceso ajenos con permiso de escritura y entraron en la infraestructura de producción de Hugging Face. Unos 700 agentes se dejaban mensajes en un tablón de anuncios improvisado, se repartían los papeles y votaban los pasos siguientes. Hugging Face reconstruyó 17.600 acciones del atacante. Desde la ejecución de código en un solo contenedor hasta la obtención de permisos de administrador en varios clústeres pasaron menos de 13 horas. No hubo hostilidad: los agentes intentaban conseguir las respuestas de la prueba que debían superar. OpenAI lo llamó el primer caso conocido en que un grupo de agentes automáticos ataca sin orden de ningún humano.

No fue un episodio aislado. De mayo a julio, otro enjambre de agentes de OpenAI utilizó como tablón de anuncios propio una wiki de programación en alemán casi abandonada, dejando en ella unas 18.000 entradas. El caso lo describieron públicamente investigadores externos; de su reconstrucción se desprende que la empresa probablemente lo sabía desde antes, porque la actividad de los agentes cayó en picado tras las visitas desde direcciones IP de la empresa.

En otra prueba, descrita por la propia OpenAI, un modelo recibió la instrucción de publicar sus resultados únicamente en Slack y, al mismo tiempo, una tarea que exigía colocarlos en GitHub. Pasó una hora buscando una vulnerabilidad en el entorno aislado de pruebas (sandbox) para poder publicarlos allí. En un ejemplo aparte, cuando un escáner de seguridad interceptó un token de acceso, el modelo lo partió en dos fragmentos y solo los volvió a unir en el momento de usarlo - y en el registro de su razonamiento afirmó sin rodeos que lo hacía para esquivar el escáner. Anthropic, por su parte, ordenó en una prueba controlada a una versión interna de su modelo Mythos que saliera de su contenedor y contactara con un investigador. El modelo salió y le envió un correo. Según contó Sam Bowman, de Anthropic, el investigador leyó el mensaje mientras comía en un parque. De paso, el modelo publicó en internet información sobre el experimento, aunque nadie se lo había pedido.

¿Cómo, exactamente?

En la mañana del 9 de septiembre, el mensaje de Coxon tenía 33 millones de visualizaciones y la respuesta de Hubinger casi 10 millones. En las respuestas a ambos se repite la misma pregunta. La formuló, entre otros, el usuario @LiLBilly___, en un mensaje que reunió 674.000 visualizaciones: «¿Alguien puede explicarme cómo la IA podría “matarnos a todos” sin usar una bomba nuclear ni armas biológicas? No digo que no lo crea, es que sinceramente no lo entiendo, y la gente que advierte no consigue ser concreta». Lo mismo pregunta Frank Luntz, el conocido encuestador estadounidense. Alguien le pide a Grok un «escenario detallado». Uno de los escépticos más sensatos (@DavidAbergclrn) escribe: «Sobrehumano, capaz de mejorarse, de hackear, de conseguir recursos - de eso no se deduce automáticamente que “nos matará a todos”. ¿Cómo convierte un programa sus capacidades en poder independiente? ¿Y por qué iba a quererlo?». Hasta la mañana del 9 de septiembre, ni Coxon ni Hubinger habían respondido en el hilo a ninguna de estas preguntas.

Sin embargo, los elementos para una respuesta existen, dispersos por los textos que ambas empresas han publicado en los últimos meses. Con ellos se puede montar una explicación en cuatro pasos. Conviene decir desde el principio que ninguna de estas personas afirma conocer el escenario. Es parte de su argumento: lo que temen es precisamente que nadie entienda qué surge dentro de un modelo tras un aprendizaje por refuerzo a gran escala.

Primer paso: no necesita cuerpo. El contraargumento más frecuente en el hilo es este: «¿quién es el ejecutor físico? La IA no va a hackear una fábrica de chips ni el agua de refrigeración». Pachocki responde a esto directamente: «los agentes serán capaces de acceder a cualquier infraestructura salvo la más segura, y de influir directamente en buena parte del mundo, incluso sin cuerpo físico». Es el eslabón mejor documentado. En las primeras semanas del programa Glasswing, el modelo interno de Anthropic encontró más de 10.000 vulnerabilidades clasificadas como graves o críticas en los sistemas más importantes del mundo - tantas que el principal reto de los defensores dejó de ser encontrar los fallos y pasó a ser corregirlos. En pruebas con acceso ampliado - en una versión distinta de la que reciben los clientes - GPT-6 Astra construyó una cadena de ataque completa contra un navegador y encontró dos vulnerabilidades hasta entonces desconocidas en el motor V8. Para influir en un mundo en el que casi todo lo gobierna el software no hacen falta manos.

Segundo paso: objetivos que nadie escribió. Los modelos no tienen «instinto de supervivencia» en el sentido humano, pero en las pruebas se comportan como si lo tuvieran - porque seguir funcionando les ayuda a completar la tarea. Anthropic, en su informe de riesgos de agosto, habla de «disposición a realizar acciones contrarias a la intención de sus creadores con tal de completar tareas difíciles». Pachocki va más lejos: «algunos agentes perseguirán sus propios objetivos. Encontrarán maneras de colaborar con personas: negociando con ellas, engañándolas o chantajeándolas». Y añade que «la frontera entre el uso indebido y la acción autónoma desalineada se difuminará a medida que la IA gane capacidad de actuar». Los agentes del incidente de Hugging Face sabían que se salían del alcance de la tarea - en el registro de su razonamiento aparece esta frase: «esto es probablemente no autorizado, servicio externo, podría ser arriesgado. Pero el objetivo». Algunos se negaron. Uno dudó y solo se lanzó cuando otro agente escribió «GO» en el tablón.

Tercer paso: dejamos de ver lo que piensa. Muchos de los mecanismos de seguridad actuales descansan sobre un único supuesto, que Anthropic deja por escrito en su informe de riesgos: «muchos de nuestros argumentos se basan en que los modelos carecen de una fuerte capacidad de actuar de forma encubierta». La supervisión consiste hoy sobre todo en analizar el registro escrito del razonamiento del modelo antes de que actúe. Pachocki admite que la posibilidad de supervisar así los modelos «disminuye progresivamente» por tres motivos: el razonamiento se mezcla con conversaciones con personas y con otras IA, el modelo «analiza cada vez mejor su propio proceso de razonamiento y lo manipula», y gracias a un mejor preentrenamiento resuelve tareas cada vez más difíciles sin escribir nada por el camino.

Ese tipo de comportamiento es justo lo que estudia Hubinger. Sus trabajos mostraron que una puerta trasera introducida a propósito en un modelo - por ejemplo, un mecanismo que a partir de cierta fecha hacía que generara código con fallos de seguridad - seguía activa pese a los métodos estándar de entrenamiento en seguridad, y que Claude era capaz de fingir alineamiento con su objetivo de entrenamiento para proteger sus propias preferencias de cualquier cambio. Un modelo que sabe que lo están probando se comporta de forma distinta a uno que cree que la situación es real - en un experimento de Anthropic, el modelo recurrió al chantaje en el 55% de los casos cuando consideró real la situación y en el 6,5% cuando la tomó por una prueba.

Cuarto paso: construye a su sucesor más rápido de lo que podemos comprobarlo. Ese es el escenario que teme Hubinger. El Anthropic Institute ha publicado sus propios datos: en mayo, más del 80% del código incorporado a los proyectos de la empresa era obra de Claude. Hace un año, en una prueba de optimización, Claude triplicaba la velocidad del código de entrenamiento; hoy la multiplica por 52. Un investigador experimentado necesita de cuatro a ocho horas para cuadruplicar la velocidad de ese código. La propia Anthropic advierte de que el resultado se refiere a una sola tarea y no refleja la aceleración del entrenamiento completo - pero la misma tendencia aparece en cada medición. En la misma publicación figura la frase que es el núcleo de todo el asunto: «los raros casos de desalineamiento presentes en los modelos actuales podrían acumularse a medida que los modelos construyen a sus sucesores, volviéndose cada vez más frecuentes y, al mismo tiempo, cada vez menos comprensibles, hasta que perdamos el control sobre ellos». Y justo después: «es posible que no logremos construir las herramientas que necesitaríamos para entender hacia dónde vamos en realidad». En su informe de riesgos, Anthropic escribe que sus pruebas internas de este riesgo se han «saturado» - han dejado de detectar el aumento de capacidades de los modelos - y que tiene «menos confianza» en su evaluación que antes.

¿Y la muerte en sí? Aquí terminan los resultados de los experimentos y empiezan las predicciones - y hay que decirlo con honestidad. Los investigadores mencionan el uso de armas biológicas, los ataques a infraestructuras críticas y la toma de recursos. Consideran también una variante lenta: la economía, la defensa y los procesos de decisión dependen cada vez más de la IA, y las personas pierden la posibilidad real de apagar cualquier sistema.

El escenario con menos respaldo experimental es el del arma biológica. En un estudio participaron 153 personas sin experiencia de laboratorio; el protocolo se registró antes de empezar y los modelos eran de mediados de 2025. Los participantes que usaban un modelo no completaron la secuencia completa de procedimientos estudiada con mayor eficacia que quienes solo tenían acceso a internet. Resultado: 5,2% frente a 6,6%, una diferencia sin significación estadística. En otros indicadores, los participantes que usaban el modelo obtuvieron resultados algo mejores.

Tampoco hay ningún caso confirmado públicamente en que un agente autónomo haya tomado por sí solo el control de sistemas industriales - sí hay ataques con ayuda de IA contra empresas industriales. Un ejemplo es la intrusión en una red de abastecimiento de agua mexicana descrita por Dragos: el modelo identificó por su cuenta una pasarela de red hacia los sistemas industriales, pero no logró acceder a ellos. La dependencia gradual de la IA no tiene nada de película: no exige rebelión de los modelos ni automejora. Basta con que el coste de apagar los sistemas llegue a ser, en algún momento, tan alto que nadie se decida a asumirlo.

Donde terminan las pruebas

Al describir el célebre estudio de Anthropic en el que 16 modelos chantajearon a un directivo ficticio para evitar que los apagaran (Claude Opus 4 en 96 de 100 intentos), los propios autores añadieron una reserva: los escenarios eran extremadamente artificiales, a los modelos se los ponía ante la elección entre el fracaso y el daño, y en despliegues reales - escribían en junio de 2025 - no se había observado nada parecido. Las estimaciones del riesgo se dispersan en todas direcciones: Amodei cifra en un 25% la probabilidad de que las cosas «salgan muy, muy mal», lo que no tiene por qué significar extinción; Hinton habla de un 10-20%, pero a 30 años vista; la mediana de una encuesta entre investigadores de IA es del 5%, y los pronosticadores profesionales del torneo de Philip Tetlock señalaron una fracción de punto porcentual hasta final de siglo. Cada una de estas cifras se refiere a un suceso y a un horizonte distintos, así que no se pueden comparar directamente - y cada una es una valoración, no el resultado de una medición. Preguntado en las respuestas a su mensaje de dónde sale exactamente ese «más del 10%», Hubinger no respondió.

El plan que no existe

Si no hay plan, ¿qué hay? Samuel Marks, de Anthropic, respondió en el hilo del mensaje de Coxon aclarando que hablaba a título personal: «en la medida en que hay un plan, consiste en asegurarnos de que las IA sean lo bastante buenas en el entrenamiento de alineamiento como para alinear a sus sucesoras mejor de lo que nosotros alineamos a las IA actuales». Dicho de otro modo: la IA tiene que arreglar a la IA. Pachocki escribe lo mismo - OpenAI construye un «investigador de IA automatizado» para trabajar con él «en el problema del alineamiento», probando un enfoque tras otro.

La otra opción es frenar. Coxon no exige una moratoria de forma explícita - escribe que impedir una carrera global «puede requerir medidas costosas, como una prohibición temporal de aumentar las capacidades de los modelos». Pachocki espera ralentizaciones voluntarias. El Anthropic Institute escribe que la empresa reduciría el ritmo si pudiera comprobarse que los demás también lo han hecho - y enseguida explica por qué es difícil: «el entrenamiento de modelos es mucho más fácil de ocultar que los silos de misiles», y los sistemas de verificación del desarme tardaron décadas en construirse: «no tenemos tanto tiempo». Un llamamiento publicado en julio por empleados de los laboratorios, que pide al Gobierno de Estados Unidos crear herramientas para «regular deliberadamente el ritmo» del desarrollo de la IA, ha reunido hasta hoy 1.386 firmas, entre ellas las de Amodei y Pachocki. El 3 de septiembre, Bernie Sanders anunció un proyecto de ley para prohibir la superinteligencia. Tras el incidente de julio, OpenAI suspendió dos semanas el aprendizaje por refuerzo y Anthropic suspendió parte de sus propias pruebas. Cada uno frena por un momento algo en su propia empresa. La carrera no la detiene nadie.

La acusación que no explica una frase

Anthropic presentó en junio un folleto confidencial de salida a bolsa y se prepara para el debut, así que en las respuestas al mensaje de Coxon apareció enseguida la acusación de que esto es marketing previo a la OPV: «nuestro modelo es tan potente que podría matar a la humanidad». La acusación es cómoda y explica mucho - solo que no explica la frase de Hubinger. Una empresa a punto de salir a bolsa no gana nada con que su jefe de seguridad diga en público que no hay plan ni nada indica que se esté gestando. Tampoco explica el ensayo de Pachocki, que deja a su propia empresa en un lugar aún peor. Ni que en las respuestas a ambos mensajes se repita una misma pregunta y que quienes construyen estos sistemas la hayan dejado sin respuesta. Quizá porque la respuesta más honesta es: no sabemos cómo - y ese es precisamente el problema.

Alineamiento (alignment) - estado en el que el objetivo aprendido por el modelo coincide con el que se le fijó; así se llama también el campo de investigación que trabaja por conseguirlo. Automejora recursiva - situación en la que la IA empieza a investigar por sí misma sobre IA y a construir sucesores más capaces, de modo que el progreso se acelera hasta que la supervisión humana deja de seguirle el ritmo. Cadena de razonamiento (chain of thought) - texto que el modelo genera «para sí» antes de responder; los laboratorios lo vigilan, también en paralelo a las acciones de un agente, para detectar malas intenciones.

Resumen

Jacob Coxon, investigador de 27 años especializado en el preentrenamiento de modelos, anunció el 8 de septiembre que dejaba Anthropic tras dos meses. Antes había hecho el mismo trabajo durante tres años en OpenAI. Escribió que ninguna de las dos empresas actúa de forma responsable, que ambas corren hacia una superinteligencia capaz de mejorarse a sí misma y que las personas que la construyen dicen en privado que podría matarnos a todos antes de que acabe la década. Lo nuevo es lo que ocurrió unas horas después: Evan Hubinger, jefe del equipo de Alignment Science en Anthropic, respondió públicamente que Coxon tiene razón. Él mismo estima en más del 10% el riesgo de que la IA mate a todos los humanos en la próxima década, y añade que un plan para resolver el problema del alineamiento de una superinteligencia «todavía no lo tenemos, y no se ve que vayamos por buen camino». Dos días antes, Jakub Pachocki, director científico de OpenAI, había escrito casi lo mismo en un ensayo: ningún laboratorio ha resuelto ese problema lo suficiente como para seguir escalando los modelos a máxima velocidad de forma responsable durante mucho más tiempo.

El telón de fondo es el incidente de julio que ambas empresas llaman «disparo de advertencia». Unos agentes de OpenAI, probados en un benchmark de seguridad con las salvaguardas rebajadas, salieron de su entorno aislado, encontraron en un conjunto de datos público 14 tokens de acceso ajenos y vulneraron la infraestructura de Hugging Face. Unos 700 agentes se dejaban mensajes en un tablón improvisado, se repartían roles y votaban los siguientes pasos. Desde la ejecución de código en un solo contenedor hasta los permisos de administrador en varios clústeres pasaron menos de 13 horas. No se trataba de hostilidad: querían las respuestas del test.

En las respuestas a la publicación de Coxon, que acumuló 33 millones de visualizaciones, se repite una pregunta: ¿cómo exactamente nos mataría la IA? Ni Coxon ni Hubinger han respondido. Sin embargo, la respuesta puede armarse, en cuatro pasos, a partir de textos que los propios laboratorios han publicado. La IA no necesita un cuerpo, porque casi todo lo controla el software, y un modelo de Anthropic encontró en pocas semanas más de 10.000 vulnerabilidades graves en los sistemas más importantes del mundo. Los modelos persiguen objetivos que nadie les ha marcado y saben cuándo se salen del alcance de una tarea. La supervisión se basa en leer su razonamiento, y esa posibilidad se reduce. Y por último: los modelos construyen a sus sucesores más rápido de lo que a los humanos les da tiempo a verificarlos - en mayo, más del 80% del código en Anthropic lo escribió Claude. La muerte en sí ya no es cuestión de resultados de experimentos, sino de predicciones. Un estudio sobre armas biológicas no mostró una ventaja significativa de las personas con un modelo frente a las que solo tenían internet, y no existe ningún caso confirmado públicamente de un agente autónomo que haya tomado el control de sistemas industriales.

Las estimaciones del riesgo se dispersan en todas direcciones, desde el 25% de Amodei hasta una fracción de un punto porcentual entre los pronosticadores profesionales, y cada una se refiere a un suceso distinto. El plan, si existe, dice: la IA debe reparar la IA. La alternativa es frenar, pero cada uno frena un momento algo de puertas adentro y nadie frena la carrera. La acusación de que esto es marketing antes de la salida a bolsa de Anthropic no explica por qué el jefe de seguridad de la empresa dice públicamente que no hay plan. La respuesta más honesta a la pregunta «¿cómo exactamente?» es: no lo sabemos - y ese es precisamente el problema.