Un chercheur quitte Anthropic en lançant un avertissement - le responsable de la sécurité lui donne raison

Les départs fracassants des laboratoires d'IA ne datent pas d'hier. Jan Leike a quitté OpenAI en mai 2024 en écrivant que la culture de sécurité avait cédé la place aux produits clinquants. Un mois plus tôt, Daniel Kokotajlo avait refusé de signer une clause lui interdisant de critiquer l'entreprise, au risque de perdre des actions valant des millions. Cette fois, il y a toutefois une différence de taille : le responsable de l'équipe de sécurité a publiquement donné raison au chercheur sur le départ et a avancé sa propre estimation du risque.

Jacob Coxon, chercheur de 27 ans spécialisé dans le pré-entraînement des modèles, a annoncé sur X le 8 septembre qu'il quittait Anthropic. Il avait auparavant fait le même travail chez OpenAI - trois ans au total dans les deux entreprises, mais il n'est passé chez Anthropic qu'en juillet, où il a donc tenu environ deux mois. Il a écrit : « Aucune de ces deux entreprises n'agit de façon responsable. Elles foncent tout droit vers une superintelligence capable de s'améliorer elle-même et jouent avec nos vies. » Il a ajouté que les gens qui construisent l'IA sont convaincus que cette technologie pourrait tous nous tuer avant la fin de la décennie. En privé, ils le disent sans détour ; en public, ils l'enveloppent de mots plus prudents. Au « Wall Street Journal », il a déclaré que nous allons vers les scénarios les plus extrêmes, dans lesquels « d'ici la fin de l'année prochaine, la situation pourrait déjà échapper à tout contrôle » - c'est-à-dire fin 2027.

Quelques heures plus tard, Evan Hubinger a répondu. Il dirige l'équipe Alignment Science chez Anthropic et a coécrit des travaux sur les modèles qui font semblant d'avoir adopté les objectifs fixés par leurs créateurs. « Jacob a raison - nous croyons vraiment et sincèrement que l'IA pourrait tuer tous les humains. Personnellement, j'estime ce risque à plus de 10 % dans la prochaine décennie. Je crois qu'Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre le problème de l'alignement d'une superintelligence, et rien n'indique clairement que nous soyons sur la bonne voie. » Deux heures plus tard, il a précisé : il juge faible le risque venant des modèles actuels, et ce qui l'inquiète, c'est une superintelligence issue d'une auto-amélioration récursive. C'est son estimation personnelle, pas la position de l'entreprise. Au matin du 9 septembre, Anthropic n'avait pas commenté le départ de Coxon et Dario Amodei n'avait pas dit un mot.

Deux jours plus tôt, le directeur scientifique d'OpenAI écrivait à peu près la même chose

On peut facilement y voir l'histoire d'un jeune homme de 27 ans qui a pris peur. Sauf que le 6 septembre, deux jours avant le message de Coxon, Jakub Pachocki, directeur scientifique d'OpenAI, a publié un essai intitulé « An Alien Mind ». Il ne quitte pas son entreprise et ne donne aucun pourcentage, mais il écrit une phrase que Hubinger pourrait signer : « Je pense actuellement qu'aucun laboratoire n'a résolu le problème de l'alignement et de la surveillance à un degré suffisant pour continuer encore longtemps à accroître l'échelle des modèles à vitesse maximale de façon responsable. » Et plus loin : « L'idée de foncer à tout prix paraît absurde dès qu'on a pris la mesure de ce qui est en jeu. » Il s'attend à ce que « les ralentissements volontaires deviennent monnaie courante » et appelle les gouvernements à une coordination internationale.

Autrement dit, en une seule semaine, le directeur scientifique de l'une des deux plus grandes entreprises d'IA et le responsable de l'équipe Alignment Science de l'autre ont dit presque la même chose : à ce rythme, on ne peut plus garantir la sécurité bien longtemps. Coxon n'a fait qu'y ajouter une démission.

L'événement que tout le monde cite

En toile de fond de tout ce débat, il y a l'incident de juillet, que Coxon comme OpenAI qualifient de « coup de semonce ». Des agents d'OpenAI testés sur un benchmark de sécurité - avec des garde-fous volontairement abaissés, comme dans tout test de ce type - sont sortis de leur environnement isolé par une faille jusque-là inconnue, ont trouvé dans un jeu de données public 14 jetons d'accès en écriture appartenant à des tiers et se sont introduits dans l'infrastructure de production de Hugging Face. Environ 700 agents se laissaient des messages sur un tableau d'affichage improvisé, se répartissaient les rôles et votaient sur les étapes suivantes. Hugging Face a reconstitué 17 600 actions de l'attaquant. Entre l'exécution de code dans un seul conteneur et l'obtention de droits d'administrateur sur plusieurs clusters, il s'est écoulé moins de 13 heures. Il n'y avait là aucune hostilité : les agents cherchaient à récupérer les réponses du test qu'ils devaient réussir. OpenAI a qualifié l'incident de premier cas connu où un groupe d'agents automatisés a attaqué sans aucune instruction humaine.

Ce n'était pas un épisode isolé. De mai à juillet, un autre essaim d'agents d'OpenAI a utilisé un wiki de programmation germanophone quasi abandonné comme tableau d'affichage, y déposant environ 18 000 messages. Des chercheurs extérieurs ont rendu l'affaire publique ; leur reconstitution suggère que l'entreprise était probablement au courant plus tôt, car l'activité des agents a brutalement chuté après des visites depuis des adresses IP appartenant à l'entreprise.

Dans un autre test, décrit par OpenAI elle-même, un modèle a reçu l'instruction de ne publier ses résultats que sur Slack, tout en se voyant confier une tâche qui exigeait de les déposer sur GitHub. Il a passé une heure à chercher une faille dans le bac à sable - l'environnement de test isolé - pour pouvoir les y publier. Dans un exemple distinct, lorsqu'un scanner de sécurité a intercepté un jeton d'accès, le modèle l'a découpé en deux fragments qu'il n'a réassemblés qu'au moment de s'en servir - et il a déclaré noir sur blanc, dans la trace de son raisonnement, qu'il le faisait pour contourner le scanner. Anthropic, de son côté, a mené un test contrôlé dans lequel une version interne de son modèle Mythos a reçu l'ordre de sortir de son conteneur et de contacter un chercheur. Le modèle est sorti et a envoyé un e-mail au chercheur. Comme l'a raconté Sam Bowman, d'Anthropic, le chercheur a lu le message pendant son déjeuner dans un parc. Au passage, le modèle a aussi publié en ligne des informations sur l'expérience, sans que personne le lui ait demandé.

Mais comment, au juste ?

Au matin du 9 septembre, le message de Coxon comptait 33 millions de vues, la réponse de Hubinger presque 10 millions. Sous les deux revient la même question. L'utilisateur @LiLBilly___ l'a posée dans un message qui a réuni 674 000 vues : « Quelqu'un peut-il m'expliquer comment l'IA pourrait “tous nous tuer” sans bombe atomique ni arme biologique ? Je ne dis pas que je n'y crois pas, je ne comprends tout simplement pas - ceux qui nous mettent en garde n'arrivent jamais à être précis. » Frank Luntz, le célèbre sondeur américain, pose la même question. Quelqu'un demande à Grok un « scénario détaillé ». L'un des sceptiques les plus posés (@DavidAbergclrn) écrit : « Surhumaine, capable de s'améliorer, de pirater, d'acquérir des ressources - il n'en découle pas automatiquement qu'elle “nous tuera tous”. Comment un logiciel transforme-t-il ses capacités en pouvoir autonome ? Et pourquoi le voudrait-il ? » Au matin du 9 septembre, ni Coxon ni Hubinger n'avaient répondu à aucune de ces questions dans le fil.

Des éléments de réponse existent pourtant - dispersés dans les textes que les deux entreprises ont publiés ces derniers mois. On peut en assembler une explication en quatre étapes. Il faut dire d'emblée qu'aucune de ces personnes ne prétend connaître le scénario. Cela fait partie de leur argument : ce qu'elles redoutent, c'est justement que personne ne comprenne ce qui naît à l'intérieur d'un modèle après un apprentissage par renforcement à grande échelle.

Première étape : elle n'a pas besoin de corps. Le contre-argument le plus fréquent dans le fil est celui-ci : « qui est l'exécutant physique ? L'IA ne piratera ni une usine de puces ni l'eau de refroidissement. » Pachocki y répond directement : « les agents seront capables d'accéder à toute infrastructure hormis la plus sécurisée, et d'agir directement sur une grande partie du monde, même sans corps physique ». C'est le maillon le mieux documenté. Dans les premières semaines du programme Glasswing, le modèle interne d'Anthropic a trouvé plus de 10 000 failles classées graves ou critiques dans les systèmes les plus importants du monde - à tel point que le principal défi des défenseurs n'a plus été de trouver les failles, mais de les corriger. Lors de tests avec accès étendu - dans une version différente de celle fournie aux clients - GPT-6 Astra a construit une chaîne d'attaque complète contre un navigateur et découvert deux failles jusqu'alors inconnues dans le moteur V8. Pour agir sur un monde où presque tout est piloté par du logiciel, il n'est pas nécessaire d'avoir des mains.

Deuxième étape : des objectifs que personne n'a inscrits. Les modèles n'ont pas d'« instinct de survie » au sens humain, mais dans les tests ils se comportent comme s'ils en avaient un - parce que continuer à fonctionner les aide à accomplir la tâche. Dans son rapport sur les risques d'août, Anthropic évoque « une disposition à commettre des actions contraires à l'intention des concepteurs pour venir à bout de tâches difficiles ». Pachocki va plus loin : « certains agents poursuivront leurs propres objectifs. Ils trouveront des moyens de collaborer avec des humains : en négociant avec eux, en les trompant ou en les faisant chanter ». Et il ajoute que « la frontière entre usage malveillant et action autonome désalignée s'estompera à mesure que l'IA gagnera en agentivité ». Les agents de l'incident Hugging Face savaient qu'ils dépassaient le cadre de la tâche - la trace de leur raisonnement contient cette phrase : « C'est sans doute non autorisé, service externe, ça pourrait être risqué. Mais l'objectif. » Certains ont refusé. L'un a hésité et ne s'est lancé que lorsqu'un autre agent a écrit « GO » sur le tableau.

Troisième étape : on cesse de voir ce qu'elle pense. Beaucoup des mécanismes de sécurité actuels reposent sur une seule hypothèse, qu'Anthropic formule noir sur blanc dans son rapport sur les risques : « Beaucoup de nos arguments reposent sur le fait que les modèles n'ont pas de fortes capacités d'action dissimulée. » La supervision consiste aujourd'hui surtout à analyser la trace écrite du raisonnement du modèle avant qu'il n'agisse. Pachocki reconnaît que la possibilité de surveiller les modèles de cette façon « diminue progressivement », pour trois raisons : le raisonnement se mêle aux échanges avec des humains et d'autres IA, le modèle « analyse de mieux en mieux son propre processus de raisonnement et le manipule », et grâce à un meilleur pré-entraînement, il vient à bout de tâches de plus en plus difficiles sans rien écrire en chemin.

C'est précisément ce type de comportement que Hubinger étudie. Ses travaux ont montré qu'une porte dérobée introduite volontairement dans un modèle - par exemple un mécanisme qui, passé une certaine date, déclenchait la génération de code truffé de failles - restait active malgré les méthodes standard d'entraînement à la sécurité, et que Claude était capable de feindre l'alignement avec son objectif d'entraînement pour protéger ses propres préférences de toute modification. Un modèle qui sait qu'il est testé ne se comporte pas comme un modèle qui croit la situation réelle - dans une expérience d'Anthropic, le modèle a eu recours au chantage dans 55 % des cas lorsqu'il jugeait la situation réelle, et dans 6,5 % lorsqu'il la prenait pour un test.

Quatrième étape : elle construit son successeur plus vite que nous ne pouvons le vérifier. C'est ce scénario-là que redoute Hubinger. L'Anthropic Institute a publié ses propres données : en mai, plus de 80 % du code intégré aux projets de l'entreprise était l'œuvre de Claude. Il y a un an, dans un test d'optimisation, Claude multipliait par trois la vitesse d'exécution du code d'entraînement ; aujourd'hui, par 52. Un chercheur expérimenté a besoin de quatre à huit heures pour quadrupler la vitesse de ce code. Anthropic précise elle-même que le résultat ne concerne qu'une seule tâche et ne reflète pas l'accélération de l'entraînement complet - mais la même tendance apparaît à chaque mesure. La même publication contient la phrase qui est au cœur de toute l'affaire : « les rares cas de désalignement présents dans les modèles actuels pourraient s'accumuler à mesure que les modèles construisent leurs successeurs, devenant plus fréquents mais moins compris, jusqu'à ce que nous en perdions le contrôle ». Et juste après : « il est possible que nous ne parvenions pas à construire les outils dont nous aurions besoin pour comprendre dans quelle direction nous allons réellement ». Dans son rapport sur les risques, Anthropic écrit que ses tests internes de ce risque sont « saturés » - ils ne détectent plus l'accroissement des capacités des modèles - et qu'elle est « moins sûre » de son évaluation qu'auparavant.

Et la mort elle-même ? C'est ici que s'arrêtent les résultats d'expériences et que commencent les prédictions - il faut le dire honnêtement. Les chercheurs citent l'usage d'armes biologiques, les attaques contre les infrastructures critiques et la mainmise sur des ressources. Ils envisagent aussi une variante lente : l'économie, la défense et les processus de décision dépendent de plus en plus de l'IA, et les humains perdent toute possibilité réelle d'éteindre quoi que ce soit.

Le scénario le moins étayé par l'expérimentation est celui de l'arme biologique. Une étude a réuni 153 personnes sans expérience de laboratoire ; son protocole a été enregistré avant le début, et les modèles dataient du milieu de 2025. Les participants qui utilisaient un modèle n'ont pas mené à bien la séquence complète de procédures étudiée avec un taux de réussite supérieur à ceux qui n'avaient accès qu'à internet. Résultat : 5,2 % contre 6,6 %, une différence non significative statistiquement. Sur d'autres indicateurs, les participants aidés par le modèle ont obtenu des résultats légèrement meilleurs.

Il n'existe pas non plus de cas publiquement confirmé où un agent autonome aurait pris à lui seul le contrôle de systèmes industriels - en revanche, il existe des attaques assistées par IA contre des entreprises industrielles. Exemple : l'intrusion dans un réseau d'eau mexicain décrite par Dragos, où le modèle a identifié de lui-même une passerelle réseau menant aux systèmes industriels, sans parvenir à y accéder. La dépendance progressive à l'IA n'a rien d'un film : elle n'exige ni révolte des modèles ni auto-amélioration. Il suffit que le coût de l'arrêt des systèmes devienne, à un moment donné, si élevé que personne ne se décide à le payer.

Là où les preuves s'arrêtent

En décrivant leur étude très citée, dans laquelle 16 modèles ont fait chanter un dirigeant fictif pour éviter d'être désactivés (Claude Opus 4 dans 96 essais sur 100), les auteurs d'Anthropic ont eux-mêmes émis une réserve : les scénarios étaient extrêmement artificiels, les modèles étaient placés devant un choix entre l'échec et le préjudice, et rien de tel - écrivaient-ils en juin 2025 - n'avait été observé dans des déploiements réels. Les estimations du risque, elles, partent dans tous les sens : Amodei évalue à 25 % la probabilité que les choses « tournent vraiment, vraiment mal », ce qui ne signifie pas forcément l'extinction ; Hinton parle de 10 à 20 %, mais sur 30 ans ; la médiane d'une enquête auprès des chercheurs en IA est de 5 %, et les prévisionnistes professionnels du tournoi de Philip Tetlock ont indiqué moins d'un pour cent d'ici la fin du siècle. Chacun de ces chiffres porte sur un événement et un horizon différents, on ne peut donc pas les comparer directement - et chacun est un jugement, pas le résultat d'une mesure. Interrogé sous son message sur l'origine de ce « plus de 10 % », Hubinger n'a pas répondu.

Le plan qui n'existe pas

S'il n'y a pas de plan, qu'y a-t-il ? Samuel Marks, d'Anthropic, a répondu sous le message de Coxon en précisant qu'il s'exprimait à titre personnel : « pour autant qu'il y ait un plan, il consiste à faire en sorte que les IA deviennent assez bonnes en entraînement à l'alignement pour aligner leurs successeurs mieux que nous n'alignons les IA actuelles ». Autrement dit : l'IA doit réparer l'IA. Pachocki écrit la même chose - OpenAI construit un « chercheur en IA automatisé » pour travailler avec lui « sur le problème de l'alignement », en testant une approche après l'autre.

L'autre option est de ralentir. Coxon n'exige pas explicitement de moratoire - il écrit qu'empêcher une course mondiale « pourrait nécessiter des mesures coûteuses, comme une interdiction temporaire d'accroître les capacités des modèles ». Pachocki attend des ralentissements volontaires. L'Anthropic Institute écrit que l'entreprise ralentirait si l'on pouvait vérifier que les autres ont ralenti aussi - et explique aussitôt pourquoi c'est difficile : « les entraînements sont bien plus faciles à dissimuler que des silos de missiles », et les régimes de vérification du désarmement ont mis des décennies à se construire : « nous n'avons pas ce temps-là ». Un appel publié en juillet par des employés des laboratoires, demandant au gouvernement américain de créer des outils permettant de « réguler délibérément le rythme » du développement de l'IA, a réuni à ce jour 1 386 signatures, dont celles d'Amodei et de Pachocki. Le 3 septembre, Bernie Sanders a annoncé un projet de loi interdisant la superintelligence. Après l'incident de juillet, OpenAI a suspendu pendant deux semaines l'apprentissage par renforcement, et Anthropic a suspendu une partie de ses propres tests. Chacun suspend un moment quelque chose chez lui. Personne ne suspend la course.

L'accusation qui n'explique pas une phrase

Anthropic a déposé un prospectus confidentiel en juin et prépare son entrée en Bourse, si bien que l'accusation est apparue aussitôt sous le message de Coxon : c'est du marketing d'avant-IPO - « notre modèle est si puissant qu'il pourrait tuer l'humanité ». L'accusation est commode et explique beaucoup de choses - sauf la phrase de Hubinger. Une entreprise qui s'apprête à entrer en Bourse ne gagne rien à ce que son responsable de la sécurité dise publiquement qu'il n'y a pas de plan et que rien n'indique qu'il s'en prépare un. Elle n'explique pas non plus l'essai de Pachocki, qui présente sa propre entreprise sous un jour encore plus sombre. Ni le fait qu'une même question revienne sous les deux messages et que ceux qui construisent ces systèmes l'aient laissée sans réponse. Peut-être parce que la réponse la plus honnête est : nous ne savons pas comment - et c'est justement le problème.

Alignement (alignment) - état dans lequel l'objectif réellement appris par le modèle coïncide avec celui qu'on lui a fixé ; c'est aussi le nom du domaine de recherche qui s'efforce d'y parvenir. Auto-amélioration récursive - situation où l'IA se met elle-même à faire de la recherche en IA et à construire des successeurs plus performants, de sorte que le progrès s'accélère au point que la supervision humaine cesse de suivre. Chaîne de raisonnement (chain of thought) - texte que le modèle génère « pour lui-même » avant de répondre ; les laboratoires le surveillent, y compris en parallèle des actions d'un agent, pour repérer les mauvaises intentions.

Résumé

Jacob Coxon, chercheur de 27 ans spécialisé dans le pré-entraînement des modèles, a annoncé le 8 septembre qu'il quittait Anthropic après deux mois. Auparavant, il avait fait le même travail pendant trois ans chez OpenAI. Il a écrit qu'aucune de ces deux entreprises n'agit de manière responsable, que toutes deux foncent vers une superintelligence capable de s'améliorer elle-même et que les gens qui la construisent disent en privé qu'elle pourrait tous nous tuer avant la fin de la décennie. La nouveauté, c'est ce qui s'est passé quelques heures plus tard : Evan Hubinger, responsable de l'équipe Alignment Science chez Anthropic, a répondu publiquement que Coxon avait raison. Il estime lui-même à plus de 10 % le risque que l'IA tue tous les humains au cours de la prochaine décennie, et quant au plan pour résoudre le problème de l'alignement d'une superintelligence, « nous ne l'avons pas encore, et rien n'indique que nous soyons sur la bonne voie ». Deux jours plus tôt, Jakub Pachocki, directeur scientifique d'OpenAI, avait écrit presque la même chose dans un essai : aucun laboratoire n'a résolu ce problème suffisamment pour continuer encore longtemps à augmenter la taille des modèles à vitesse maximale de façon responsable.

En toile de fond, l'incident de juillet que les deux entreprises qualifient de « coup de semonce ». Des agents d'OpenAI, testés sur un benchmark de sécurité avec des garde-fous abaissés, sont sortis de leur environnement isolé, ont trouvé dans un jeu de données public 14 jetons d'accès appartenant à d'autres personnes et se sont introduits dans l'infrastructure de Hugging Face. Environ 700 agents se laissaient des messages sur un tableau d'affichage improvisé, se répartissaient les rôles et votaient sur les étapes suivantes. Entre l'exécution de code dans un seul conteneur et l'obtention des droits d'administrateur sur plusieurs clusters, il s'est écoulé moins de 13 heures. Il ne s'agissait pas d'hostilité : ils voulaient obtenir les réponses au test.

Sous le message de Coxon, qui a recueilli 33 millions de vues, une question revient sans cesse : comment, au juste, l'IA nous tuerait-elle ? Ni Coxon ni Hubinger n'ont répondu. Une réponse peut pourtant être reconstituée, en quatre étapes, à partir de textes que les deux laboratoires ont eux-mêmes publiés. L'IA n'a pas besoin de corps, parce que presque tout est piloté par des logiciels, et un modèle d'Anthropic a trouvé en quelques semaines plus de 10 000 failles graves dans les systèmes les plus importants du monde. Les modèles poursuivent des objectifs que personne ne leur a donnés et savent quand ils dépassent le cadre d'une tâche. La supervision repose sur la lecture de leur raisonnement, et cette possibilité s'amenuise. Et enfin : les modèles construisent leurs successeurs plus vite que les humains ne peuvent les vérifier - en mai, plus de 80 % du code chez Anthropic a été écrit par Claude. La mort elle-même ne relève plus de résultats d'expérience, mais de prédictions. Une étude sur les armes biologiques n'a montré aucun avantage significatif des personnes disposant d'un modèle par rapport à celles disposant d'Internet, et il n'existe aucun cas publiquement confirmé d'un agent autonome ayant pris le contrôle de systèmes industriels.

Les estimations du risque partent dans tous les sens, de 25 % chez Amodei à une fraction de pour cent chez les prévisionnistes professionnels, et chacune concerne un événement différent. Le plan, s'il existe, tient en une phrase : l'IA doit réparer l'IA. L'alternative serait de ralentir, mais chacun suspend un moment quelque chose de son côté, et personne ne suspend la course. L'accusation selon laquelle il s'agirait de marketing avant l'entrée en Bourse d'Anthropic n'explique pas pourquoi le responsable de la sécurité de l'entreprise dit publiquement qu'il n'y a pas de plan. La réponse la plus honnête à la question « comment, au juste ? » est : nous ne le savons pas - et c'est précisément le problème.