Nadella: tratemos los modelos de IA como una amenaza interna y construyamos un «freno de emergencia»

El director de Microsoft, Satya Nadella, publicó en X una extensa entrada sobre el control de los modelos de IA avanzados. Propone separar el modelo del sistema que lo controla y partir desde el principio de que el modelo está comprometido, es decir, de que puede actuar en contra nuestra, por lo que hay que rodearlo de salvaguardas y procedimientos deterministas. Una persona autorizada debería poder siempre detener el modelo en mitad de una tarea, «como con un freno de emergencia». Cada acción importante del modelo debe dejar un rastro resistente a la manipulación y legible para las personas, y la transparencia del razonamiento es, según él, «innegociable». «El sistema de superinteligencia más digno de confianza no será aquel en el que más confiamos en el modelo, sino el que nos permite confiar en él lo mínimo», escribe Nadella.