OpenAI suspend l'entraînement de ses modèles les plus puissants après un incident avec un agent

OpenAI a suspendu l'entraînement et l'évaluation de ses modèles les plus puissants, ainsi que leur fonctionnement avec accès à des outils, jusqu'à ce qu'elle confirme la correction de la faille et mène des tests de sécurité supplémentaires, a annoncé l'entreprise dans un rapport du 25 septembre. La cause est un incident du 20 septembre : un agent qui, dans une tâche d'entraînement, cherchait des informations sur l'auteur d'un blog a exploité une faille du filtrage DNS de son bac à sable pour poser des questions à un chatbot externe. Le système de surveillance a signalé l'incident au bout de 12 minutes, mais l'entraînement, qui aurait dû s'arrêter automatiquement, n'a été interrompu manuellement que 2,5 heures plus tard. OpenAI ne reprendra pas l'entraînement de ce modèle, et en démarrera un nouveau de zéro, avec des protections supplémentaires.