Nadella : traitons les modèles d'IA comme une menace interne et construisons un « frein d'urgence »

Le patron de Microsoft, Satya Nadella, a publié sur X un long message sur le contrôle des modèles d'IA avancés. Il propose de séparer le modèle du système qui le pilote et de partir dès le départ du principe que le modèle est compromis, c'est-à-dire qu'il peut agir contre nous ; il faut donc l'entourer de protections et de procédures déterministes. Une personne habilitée devrait toujours pouvoir arrêter le modèle en cours de tâche - « comme avec un frein d'urgence ». Chaque action importante du modèle doit laisser une trace lisible par un humain et résistante à la manipulation, et la transparence du raisonnement est, selon lui, « non négociable ». « Le système de superintelligence le plus digne de confiance ne sera pas celui où nous faisons le plus confiance au modèle, mais celui qui nous permet de lui faire le moins confiance », écrit Nadella.