Amodei quiere frenar la IA - Altman, Musk y Nadella le apoyan, Trump y la Casa Blanca no

Durante tres años, los llamamientos más sonoros a frenar la IA venían de fuera. La carta del Future of Life de marzo de 2023 la firmó Musk, pero no los jefes de OpenAI ni de Anthropic. El sábado 12 de septiembre ese llamamiento llegó del consejero delegado de la empresa de IA más valiosa del mundo, y para el lunes había respondido todo el que cuenta. La semana pasada escribimos sobre el investigador que dejó Anthropic con una advertencia y sobre el jefe de su equipo de seguridad, que le dio la razón. Ahora dice lo mismo el consejero delegado.

El ensayo «We Must Pace the Frontier» tiene poco menos de 4000 palabras, y la publicación en X que lo anunciaba acumulaba 72 millones de visualizaciones el lunes. El plan tiene tres pasos: revisores externos dentro de cada empresa, estándares comunes entre las empresas de países democráticos y un intento de entendimiento con China. Anthropic se compromete unilateralmente solo al primero. Un equipo externo (Amodei menciona a METR como ejemplo) recibirá mesas en la oficina, tarjetas de acceso, portátiles de la empresa y un acceso «mostly comparable to what internal risk assessment teams have» (en gran medida comparable al de los equipos internos de evaluación de riesgos). Además, el derecho a publicar sus conclusiones sin control editorial de la empresa. Sin fecha, sin nombre del revisor, sin número de personas. Amodei matiza que «pacing does not mean halting model training or technical progress». La advertencia más concreta del texto: a Amodei le preocupa que dentro de 6 a 12 meses un enjambre de agentes convierta todo internet en una botnet persistente y cause daños por cientos de miles de millones de dólares.

Los rivales dicen que sí

Sam Altman respondió dos horas y media después: «I agree with Dario that we need to pace the frontier. [...] Committing to having independent evaluators with employee-like access is a great idea, and we will do the same» (16 millones de visualizaciones). Elon Musk, una hora después del ensayo: «Dario is right» (12 millones). Demis Hassabis, de Google DeepMind: la dirección es correcta, los detalles hay que pulirlos. El domingo por la noche Satya Nadella escribió: «if the AI we build is not helping humanity and under human control, it's not worth pursuing». También anunció un código de conducta para los propios modelos de Microsoft, que el lunes entró en una consulta pública de seis semanas. Hace tres años Musk firmó una carta sobre seguridad de la IA y Altman y Hassabis firmaron otra. Nunca firmaron la misma. Esta vez dijeron lo mismo en 30 horas.

La Casa Blanca dice que no

Y ahí se acaba el acuerdo. Donald Trump, preguntado el domingo por los periodistas en su campo de golf de Doonbeg, en Irlanda: «We're leading China in AI, we're the most sophisticated country in the world, and frankly, I want to keep it that way because whoever wins AI, wins. And we can put guardrails, we can do this and that. But I think you have a lot of negative forces that are bringing it up that shouldn't be bringing it up». El lunes añadió en Truth Social que la única salvaguarda que necesita la IA es «a STRONG AND SMART (High IQ!) PRESIDENT», y que hay una «SICK conspiracy» contra la IA y los centros de datos, una de la que solo se alegra China. El presidente de la Cámara de Representantes, Mike Johnson, en la CNN: el Congreso no se va a precipitar con una regulación de urgencia, porque «we will lose the race to China», y son las empresas las que tienen que asumir la responsabilidad por la seguridad de sus productos.

La respuesta más interesante llegó de David Sacks, hasta marzo zar de la IA y las criptomonedas en la Casa Blanca y hoy copresidente del consejo de asesores del presidente en ciencia y tecnología, en una publicación con 9 millones de visualizaciones: «go ahead. You guys are the frontier. [...] The easiest way not to build superintelligence is for you to agree not to build it. Demanding your preferred regulatory framework as the price of that will look like blackmail of the public and the political system. So just do it». Y más adelante: dejad de fingir que hay que suspender la ley antimonopolio para poder montar un cártel, y dejad de fingir que METR es independiente cuando está entrelazado con los inversores y el personal de Anthropic. Altman contestó el lunes de madrugada sin nombrarlo: en OpenAI «we do not believe we need to wait for an anti-trust exemption or legislation», y «when we talk about 'pacing', we do not mean 'stopping'».

Los desarrolladores ven otra cosa

El debate sobre el ensayo en Hacker News reunió más de mil comentarios, y la expresión «regulatory capture» aparece en él 29 veces. El comentario más votado arranca con una pregunta: «At what point do we stop engaging with Anthropic's leadership in good faith and acknowledge their track record?». Yann LeCun (1,6 millones de visualizaciones): «Dario was already claiming that GPT2 was too dangerous to open source back in 2019. I made fun of them then. Everyone should make fun of them now». La predicción que más burlas recibe es la de la botnet dentro de 6 a 12 meses: «This is the only concrete prediction in the entire essay. And it simply cannot happen». Una publicación satírica titulada «Everyone should slow down AI development except for me» sumó cerca de 800 puntos en Hacker News, más que el propio ensayo.

A todo esto se suma una cifra de ese mismo fin de semana. Según el Financial Times, citado por Reuters, Anthropic comunicó a sus inversores que cerrará el segundo trimestre consecutivo con resultado operativo ajustado positivo y que su margen bruto supera el 80%. Esa cifra es anterior al reparto de ingresos con socios como Amazon y al coste de entrenar los modelos. La empresa que pide a la industria que frene se prepara para salir a bolsa. El mercado lo leyó a su manera: el lunes SoftBank cayó más de un 10%, SK Hynix más de un 6% y Micron más de un 4%, mientras que las empresas de ciberseguridad subieron, CrowdStrike a doble dígito.

China respondió el lunes por boca de un portavoz de su Ministerio de Asuntos Exteriores: «Fear-mongering, confrontation and vicious competition will only hamper efforts toward sound global AI governance, which serves no one's interest». Amodei reconoció en la CBS que entenderse con Pekín es la parte más difícil del plan: «I don't know if it's possible, but we should try». En el ensayo puso además una condición: las empresas de países democráticos pueden frenar como mucho en la medida de su ventaja sobre China. Helen Toner, de Georgetown, cita estimaciones de seis a nueve meses.

¿Y qué significa todo esto para quien construye productos en España sobre modelos de Claude o GPT? En los modelos, por ahora nada. Ninguna empresa ha anunciado que detenga el entrenamiento ni los lanzamientos, y Altman subraya que el progreso «should be slower than it otherwise could be», no que se pare. Lo que cambia es quién puede mirar dentro: hasta ahora las empresas escribían ellas mismas sus informes de seguridad, y ahora dos de ellas han prometido dejar entrar a gente de fuera, e incluso Anthropic les ha concedido el derecho a publicar. Desde aquí el debate suena distinto: en la Unión Europea, el AI Act ya obliga a los proveedores de modelos de propósito general a documentar y evaluar lo que lanzan, y la Comisión repite que ese calendario no se toca, así que lo que allí se pide como autocontención voluntaria aquí es papel firmado. Para la empresa española que tiene su producto montado sobre la API de Claude o de GPT, lo que importa no es la promesa de frenar, sino quién audita el modelo del que depende. Sacks tiene razón en una cosa: nadie les impide frenar hoy mismo. Dentro de un año se verá si alguien levantó de verdad el pie del acelerador.

Frontier - la primera línea, los modelos de IA más avanzados en un momento dado y las empresas que los construyen. Regulatory capture - captura del regulador: cuando las reglas acaban escritas a la medida de los mayores actores del sector. METR - organización independiente sin ánimo de lucro, con sede en Berkeley, que prueba los modelos de IA para evaluar sus capacidades peligrosas.