Amodei veut ralentir l'IA - Altman, Musk et Nadella pour, Trump et la Maison-Blanche contre

Pendant trois ans, les appels les plus retentissants à ralentir l'IA sont venus de l'extérieur. La lettre du Future of Life de mars 2023 a été signée par Musk, mais pas par les patrons d'OpenAI ni d'Anthropic. Samedi 12 septembre, cet appel est venu du patron de l'entreprise d'IA la mieux valorisée au monde, et dès lundi tous ceux qui comptent avaient répondu. La semaine dernière, nous parlions du chercheur qui a quitté Anthropic en lançant un avertissement, et du responsable de son équipe de sécurité qui lui a donné raison. Aujourd'hui, c'est le patron qui dit la même chose.

L'essai « We Must Pace the Frontier » fait un peu moins de 4 000 mots, et le message publié sur X pour l'annoncer avait été vu 72 millions de fois lundi. Le plan tient en trois étapes : des embedded evaluators installés dans chaque entreprise, des standards communs entre les entreprises des pays démocratiques et une tentative d'entente avec la Chine. Anthropic ne s'engage unilatéralement que sur le premier point. Une équipe extérieure (Amodei cite METR à titre d'exemple) recevra des bureaux dans les locaux de l'entreprise, des badges d'accès, des ordinateurs portables de l'entreprise et un accès « mostly comparable to what internal risk assessment teams have » (à peu près comparable à celui des équipes internes d'évaluation des risques). S'y ajoute le droit de publier ses conclusions sans contrôle éditorial de l'entreprise. Sans date, sans nom de l'évaluateur, sans précision sur les effectifs. Amodei prévient que « pacing does not mean halting model training or technical progress » (le pacing ne signifie ni l'arrêt de l'entraînement des modèles ni celui du progrès technique). L'avertissement le plus concret du texte : Amodei craint que, d'ici 6 à 12 mois, un essaim d'agents transforme l'internet entier en botnet persistant et cause des dégâts chiffrés en centaines de milliards de dollars.

Les rivaux disent oui

Sam Altman a répondu deux heures et demie plus tard : « I agree with Dario that we need to pace the frontier. [...] Committing to having independent evaluators with employee-like access is a great idea, and we will do the same » (16 millions de vues). Elon Musk, une heure après l'essai : « Dario is right » (12 millions). Demis Hassabis, de Google DeepMind : la direction est la bonne, les détails restent à régler. Dimanche soir, Satya Nadella a écrit que « if the AI we build is not helping humanity and under human control, it's not worth pursuing » (si l'IA que nous construisons n'aide pas l'humanité et n'est pas sous contrôle humain, elle ne mérite pas d'être poursuivie). Il a aussi annoncé un code de conduite pour les modèles de Microsoft, soumis lundi à une consultation publique de six semaines. Il y a trois ans, Musk signait une lettre sur la sécurité de l'IA, Altman et Hassabis en signaient une autre. Jamais la même. Cette fois, ils ont dit la même chose en 30 heures.

La Maison-Blanche dit non

Et l'accord s'arrête là. Donald Trump, interrogé dimanche par des journalistes sur son golf de Doonbeg, en Irlande : « We're leading China in AI, we're the most sophisticated country in the world, and frankly, I want to keep it that way because whoever wins AI, wins. And we can put guardrails, we can do this and that. But I think you have a lot of negative forces that are bringing it up that shouldn't be bringing it up ». Lundi, il a ajouté sur Truth Social que le seul garde-fou dont l'IA a besoin est « a STRONG AND SMART (High IQ!) PRESIDENT », et qu'il existe une « SICK conspiracy » contre l'IA et les centres de données, dont seule la Chine se réjouit. Le président de la Chambre des représentants, Mike Johnson, sur CNN : le Congrès ne légiférera pas dans l'urgence, parce que « we will lose the race to China », et ce sont les entreprises qui doivent assumer la sécurité de leurs produits. Le débat se joue donc à Washington, pas à Bruxelles : Amodei ne demande rien à la Commission européenne, ses trois points passent par les entreprises et par les États, pas par l'AI Act ni par le DMA.

La réponse la plus intéressante est venue de David Sacks, responsable de l'IA et des cryptomonnaies à la Maison-Blanche jusqu'en mars et aujourd'hui coprésident du conseil consultatif du président pour la science et la technologie, dans un message vu 9 millions de fois : « go ahead. You guys are the frontier. [...] The easiest way not to build superintelligence is for you to agree not to build it. Demanding your preferred regulatory framework as the price of that will look like blackmail of the public and the political system. So just do it ». Et plus loin : cessez de prétendre qu'il faut suspendre le droit de la concurrence pour monter un cartel, et cessez de présenter METR comme indépendant alors qu'il est étroitement lié aux investisseurs et les salariés d'Anthropic. Altman a répondu lundi au petit matin sans le nommer : OpenAI « does not believe we need to wait for an anti-trust exemption or legislation », et « when we talk about 'pacing', we do not mean 'stopping' ».

Les développeurs voient autre chose

La discussion de l'essai sur Hacker News a dépassé le millier de commentaires, et l'expression « regulatory capture » y revient 29 fois. Le commentaire le mieux noté s'ouvre sur une question : « At what point do we stop engaging with Anthropic's leadership in good faith and acknowledge their track record? » Le Français Yann LeCun (1,6 million de vues) : « Dario was already claiming that GPT2 was too dangerous to open source back in 2019. I made fun of them then. Everyone should make fun of them now ». La prévision qui récolte le plus de moqueries est celle du botnet dans 6 à 12 mois : « This is the only concrete prediction in the entire essay. And it simply cannot happen ». Un billet satirique intitulé « Everyone should slow down AI development except for me » a réuni près de 800 points sur Hacker News, plus que l'essai lui-même.

À tout cela s'ajoute un chiffre du même week-end. Selon le Financial Times, cité par Reuters, Anthropic a indiqué à ses investisseurs qu'elle bouclerait un deuxième trimestre consécutif avec un résultat opérationnel ajusté positif, et que sa marge brute dépasse 80 %. Ce chiffre s'entend avant le partage des revenus avec des partenaires comme Amazon et avant le coût d'entraînement des modèles. L'entreprise qui demande au secteur de ralentir prépare son entrée en Bourse. Le marché l'a lu à sa façon : lundi, SoftBank a perdu plus de 10 %, SK Hynix plus de 6 %, Micron plus de 4 %, tandis que les entreprises de cybersécurité montaient, CrowdStrike avec une hausse à deux chiffres.

La Chine a répondu lundi par la voix d'un porte-parole de son ministère des Affaires étrangères : « Fear-mongering, confrontation and vicious competition will only hamper efforts toward sound global AI governance, which serves no one's interest ». Sur CBS, Amodei a reconnu que s'entendre avec Pékin est le point le plus difficile du plan : « I don't know if it's possible, but we should try ». Dans l'essai, il pose d'ailleurs une condition : les entreprises des pays démocratiques peuvent ralentir au plus à hauteur de leur avance sur la Chine. Helen Toner, de Georgetown, cite des estimations de six à neuf mois.

Qu'est-ce que cela change pour qui, en France, développe des produits basés sur les modèles Claude ou GPT ? Dans les modèles eux-mêmes, rien pour l'instant. Aucune entreprise n'a annoncé la suspension d'un entraînement ou d'une sortie, et Altman souligne que le progrès « should be slower than it otherwise could be », pas qu'il s'arrête. Ce qui change, c'est l'accès accordé aux tiers : jusqu'ici, les entreprises rédigeaient elles-mêmes leurs rapports de sécurité, et deux d'entre elles promettent maintenant de laisser entrer des évaluateurs extérieurs, Anthropic leur accordant en plus le droit de publier. Pour une équipe française, cela ne remplace rien de ce que demande l'AI Act, et si la dépendance à un seul fournisseur inquiète, la réponse reste celle d'avant : garder une couche d'abstraction et pouvoir se rabattre sur un autre modèle, Mistral compris. Sacks a raison sur un point : personne ne les empêche de ralentir dès aujourd'hui. Dans un an, on verra si quelqu'un a vraiment levé le pied.

Frontier - la tête de course, les modèles d'IA les plus avancés à un moment donné et les entreprises qui les construisent. Regulatory capture - la capture du régulateur, quand les règles finissent par être rédigées au profit des plus gros acteurs du secteur. METR - une organisation indépendante à but non lucratif, basée à Berkeley, qui teste si les modèles d'IA sont capables de faire quelque chose de dangereux.