Nadella: traktujmy modele AI jak zagrożenie od wewnątrz i zbudujmy „hamulec awaryjny”

Szef Microsoftu Satya Nadella opublikował na X obszerny wpis o kontroli nad zaawansowanymi modelami AI. Proponuje, by oddzielić model od systemu, który nim steruje, i od początku zakładać, że model jest skompromitowany, czyli może działać wbrew nam, dlatego trzeba otoczyć go deterministycznymi zabezpieczeniami i procedurami. Upoważniona osoba zawsze powinna móc zatrzymać model w trakcie zadania - „jak hamulcem awaryjnym”. Każda istotna akcja modelu ma zostawiać odporny na manipulację, czytelny dla człowieka ślad, a przejrzystość toku rozumowania jest według niego „nie do negocjacji”. „Najbardziej godny zaufania system superinteligencji nie będzie tym, w którym modelowi ufamy najbardziej, lecz tym, który pozwala nam ufać mu najmniej” - pisze Nadella.