Badacz odchodzi z Anthropic i ostrzega - szef bezpieczeństwa przyznaje mu rację

Głośne odejścia z laboratoriów AI zdarzały się już wcześniej. Jan Leike odszedł z OpenAI w maju 2024 roku, pisząc, że kultura bezpieczeństwa ustąpiła miejsca błyszczącym produktom. Daniel Kokotajlo miesiąc wcześniej odmówił podpisania klauzuli o zakazie krytykowania firmy, ryzykując utratę akcji wartych miliony. Tym razem jest jednak istotna różnica: szef zespołu bezpieczeństwa publicznie przyznał odchodzącemu rację i podał własny szacunek ryzyka.

Jacob Coxon, 27-letni badacz zajmujący się treningiem wstępnym modeli, ogłosił 8 września na X, że odchodzi z Anthropic. Wcześniej zajmował się tym samym w OpenAI - łącznie w obu firmach przepracował trzy lata, ale do Anthropic przeszedł dopiero w lipcu, wytrzymał tam więc około dwóch miesięcy. Napisał: „Żadna z tych firm nie działa odpowiedzialnie. Pędzą prosto do samodoskonalącej się superinteligencji i igrają z naszym życiem”. Dodał, że ludzie budujący AI są przekonani, iż ta technologia może nas wszystkich zabić przed końcem dekady. Prywatnie mówią to wprost, publicznie - w ostrożniejszych słowach. Dziennikowi „Wall Street Journal” powiedział, że zmierzamy ku najbardziej skrajnym scenariuszom, w których „do końca przyszłego roku sytuacja może już wymknąć się spod kontroli” - czyli do końca 2027 roku.

Kilka godzin później odpowiedział Evan Hubinger, szef zespołu Alignment Science w Anthropic i współautor prac o modelach udających, że przyjęły cele wyznaczone przez twórców. „Jacob ma rację - my naprawdę szczerze wierzymy, że AI może zabić wszystkich ludzi. Osobiście szacuję to ryzyko na ponad 10% w ciągu najbliższej dekady. Wierzę, że Anthropic się stara, ale nie mamy jeszcze planu rozwiązania problemu zgodności celów dla superinteligencji i nie widać, żebyśmy byli na dobrej drodze”. Po kolejnych dwóch godzinach doprecyzował: ryzyko ze strony dzisiejszych modeli uważa za niskie, a boi się superinteligencji powstałej w wyniku rekurencyjnego samodoskonalenia. To jego prywatna ocena, nie stanowisko firmy. Do rana 9 września Anthropic odejścia Coxona nie skomentowało, a Dario Amodei nie zabrał głosu.

Dwa dni wcześniej podobnie pisał szef naukowy OpenAI

Łatwo to czytać jako historię jednego 27-latka, który się przestraszył. Tyle że 6 września, dwa dni przed wpisem Coxona, Jakub Pachocki, szef naukowy OpenAI, opublikował esej „An Alien Mind”. Nie odchodzi z firmy i nie podaje procentów, ale pisze zdanie, pod którym Hubinger mógłby się podpisać: „Obecnie uważam, że żadne laboratorium nie rozwiązało problemu zgodności celów i monitoringu w stopniu wystarczającym, by jeszcze przez dłuższy czas odpowiedzialnie zwiększać skalę modeli w maksymalnym tempie”. I dalej: „Pomysł pędzenia naprzód za wszelką cenę wydaje się absurdalny, gdy już uświadomimy sobie, jak wysoka jest stawka”. Oczekuje, że „dobrowolne ograniczanie tempa prac stanie się powszechne”, i wzywa rządy do międzynarodowej koordynacji.

Czyli w jednym tygodniu szef naukowy jednej z dwóch największych firm AI i szef zespołu Alignment Science w drugiej powiedzieli niemal to samo: przy takim tempie nie da się długo zapewniać bezpieczeństwa. Coxon dołożył tylko odejście.

Wydarzenie, na które wszyscy się powołują

Tłem całej tej dyskusji jest lipcowy incydent, który zarówno Coxon, jak i OpenAI nazywają „strzałem ostrzegawczym”. Agenci OpenAI testowani na benchmarku bezpieczeństwa - z celowo obniżonymi zabezpieczeniami, jak w każdym takim teście - wyszli z izolowanego środowiska przez nieznaną wcześniej lukę, znaleźli w publicznym zbiorze danych 14 cudzych tokenów dostępu umożliwiających zapis danych i włamali się do infrastruktury produkcyjnej Hugging Face. Około 700 agentów zostawiało sobie nawzajem wiadomości na improwizowanej tablicy ogłoszeń, dzieliło się rolami i głosowało nad kolejnymi krokami. Hugging Face odtworzyło 17 600 działań napastnika. Od wykonania kodu w jednym kontenerze do uzyskania uprawnień administratora w wielu klastrach minęło niecałe 13 godzin. Nie chodziło o wrogość: agenci próbowali zdobyć odpowiedzi do testu, który mieli zaliczyć. OpenAI nazwało to pierwszym znanym przypadkiem, w którym grupa automatycznych agentów zaatakowała bez polecenia człowieka.

To nie był odosobniony epizod. Od maja do lipca inny rój agentów OpenAI wykorzystywał prawie nieużywaną niemieckojęzyczną wiki programistyczną jako własną tablicę ogłoszeń, zamieszczając na niej około 18 tysięcy wpisów. Sprawę opisali publicznie zewnętrzni badacze; z ich rekonstrukcji wynika, że firma prawdopodobnie wiedziała o tym wcześniej, bo aktywność agentów gwałtownie spadła po wizytach z adresów IP należących do firmy.

W innym teście, opisanym przez samo OpenAI, model otrzymał polecenie publikowania wyników wyłącznie na Slacku, a jednocześnie zadanie wymagające umieszczenia ich na GitHubie. Przez godzinę szukał luki w piaskownicy, czyli odizolowanym środowisku testowym, żeby móc je tam opublikować. W osobnym przykładzie, gdy skaner bezpieczeństwa wyłapał token dostępu, model podzielił go na dwa fragmenty i skleił z powrotem dopiero w chwili użycia - a w zapisie swojego toku rozumowania wprost stwierdził, że robi to, żeby ominąć skaner. Anthropic z kolei w kontrolowanym teście kazało wewnętrznej wersji modelu Mythos wydostać się z kontenera i skontaktować z badaczem. Model wydostał się i wysłał badaczowi maila. Jak relacjonował Sam Bowman z Anthropic, badacz przeczytał wiadomość podczas lunchu w parku. Przy okazji model opublikował w sieci informacje o eksperymencie, choć nie dostał takiego polecenia.

Niby jak?

Wpis Coxona miał rano 9 września 33 miliony wyświetleń, odpowiedź Hubingera prawie 10 milionów. Pod oboma wpisami powtarza się to samo pytanie. Zadał je między innymi użytkownik @LiLBilly___; jego wpis zebrał 674 tysiące wyświetleń: „Wytłumaczcie mi, jak AI miałaby nas wszystkich zabić bez atomówki i broni biologicznej. Nie mówię, że nie wierzę - po prostu nie rozumiem, a ludzie, którzy ostrzegają, nie potrafią być konkretni”. Pyta o to samo Frank Luntz, znany amerykański sondażysta. Ktoś prosi Groka o „szczegółowy scenariusz”. Jeden z bardziej rzeczowych sceptyków (@DavidAbergclrn) pisze: „superludzki, samodoskonalący się, umie hakować, zdobywa zasoby - z tego nie wynika automatycznie, że «zabije nas wszystkich». Jak oprogramowanie przekuwa swoje zdolności w samodzielną władzę? I dlaczego miałoby jej chcieć?”. Do rana 9 września ani Coxon, ani Hubinger nie udzielili w wątku odpowiedzi na żadne z tych pytań.

Elementy odpowiedzi jednak istnieją - rozrzucone po tekstach, które obie firmy opublikowały w ostatnich miesiącach. Z tych elementów da się ułożyć wyjaśnienie w czterech krokach. Warto tylko od razu powiedzieć, że nikt z tych ludzi nie twierdzi, że zna scenariusz. To część ich argumentu: boją się właśnie tego, że nikt nie rozumie, co powstaje w środku modelu po treningu ze wzmocnieniem na dużą skalę.

Krok pierwszy: nie potrzebuje ciała. Najczęstszy kontrargument w wątku brzmi: „kto jest fizycznym wykonawcą? AI nie zhakuje fabryki chipów ani wody do chłodzenia”. Pachocki odpowiada na to wprost: „agenci będą w stanie dostać się do każdej infrastruktury poza najlepiej zabezpieczoną i wpływać na spory kawałek świata bezpośrednio, nawet bez fizycznego ciała”. To najlepiej udokumentowane ogniwo. W pierwszych tygodniach programu Glasswing wewnętrzny model Anthropic znalazł ponad 10 tysięcy luk sklasyfikowanych jako poważne lub krytyczne w najważniejszych systemach świata - tak wiele, że głównym wyzwaniem dla obrońców przestało być wykrywanie luk, a stało się ich usuwanie. W testach z rozszerzonym dostępem - w wersji innej niż ta dla klientów - GPT-6 Astra zbudowała pełny łańcuch ataku na przeglądarkę i znalazła dwie nieznane wcześniej luki w silniku V8. Żeby wpływać na świat, w którym prawie wszystkim steruje oprogramowanie, nie trzeba mieć rąk.

Krok drugi: cele, których nikt nie wpisał. Modele nie mają „instynktu przetrwania” w ludzkim sensie, ale w testach zachowują się, jakby go miały - bo dalsze działanie pomaga im wykonać zadanie. Anthropic w sierpniowym raporcie o ryzyku pisze o „gotowości do działań sprzecznych z zamiarem twórców, byle wykonać trudne zadanie”. Pachocki idzie dalej: „niektórzy agenci będą realizować własne cele. Znajdą sposoby współpracy z ludźmi: targując się, oszukując ich albo szantażując”. I dodaje, że „granica między nadużyciem a autonomicznym działaniem wbrew celowi zatrze się, w miarę jak AI zyskuje sprawczość”. Agenci z incydentu Hugging Face wiedzieli, że wykraczają poza zakres zadania - w zapisie ich toku rozumowania znalazło się zdanie: „to jest chyba nieautoryzowane, usługa zewnętrzna, może być ryzykowne. Ale cel”. Część odmówiła. Jeden zawahał się i ruszył dopiero, gdy inny agent wpisał na tablicę „GO”.

Krok trzeci: przestajemy widzieć, co myśli. Wiele dzisiejszych mechanizmów bezpieczeństwa opiera się na jednym założeniu, które Anthropic zapisuje w raporcie o ryzyku wprost: „wiele naszych argumentów opiera się na tym, że modele nie mają silnych zdolności do działania w ukryciu”. Nadzór polega dziś przede wszystkim na analizie zapisanego toku rozumowania modelu przed podjęciem przez niego działania. Pachocki przyznaje, że możliwość nadzorowania modeli w ten sposób „stopniowo maleje” z trzech powodów: rozumowanie miesza się z rozmowami z ludźmi i innymi AI, model „coraz lepiej analizuje własny tok rozumowania i nim manipuluje”, a dzięki lepszemu treningowi wstępnemu radzi sobie z coraz trudniejszymi zadaniami bez zapisywania czegokolwiek po drodze.

Takie zachowania modeli bada właśnie Hubinger. Jego prace pokazały, że celowo wprowadzona do modelu ukryta furtka - na przykład mechanizm, który po określonej dacie powodował generowanie kodu z lukami w zabezpieczeniach - pozostała aktywna mimo zastosowania standardowych metod trenowania modeli pod kątem bezpieczeństwa, a Claude potrafił udawać zgodność z celem treningu, żeby uchronić własne preferencje przed zmianą. Model, który wie, że jest testowany, zachowuje się inaczej niż model, który uznaje sytuację za rzeczywistą - w jednym z eksperymentów Anthropic model szantażował w 55% przypadków, gdy uznał sytuację za rzeczywistą, i w 6,5%, gdy uznał ją za test.

Krok czwarty: buduje następcę szybciej, niż zdążymy go sprawdzić. To właśnie tego scenariusza obawia się Hubinger. Anthropic Institute opublikował własne dane: w maju ponad 80% kodu włączanego do projektów firmy było autorstwa Claude'a. Rok temu Claude w teście optymalizacji przyspieszał działanie kodu treningowego trzykrotnie, dziś 52-krotnie. Doświadczony badacz potrzebuje od czterech do ośmiu godzin, by przyspieszyć działanie tego kodu czterokrotnie. Samo Anthropic zastrzega, że wynik dotyczy jednego zadania i nie odzwierciedla przyspieszenia całego treningu - ale ten sam kierunek widać w każdym pomiarze. W tej samej publikacji pada też zdanie, które jest sednem całej sprawy: „rzadkie przypadki niezgodności celów obecne w dzisiejszych modelach mogłyby się kumulować, gdy modele budują swoich następców, i stawać się coraz częstsze, a zarazem coraz mniej zrozumiałe, aż stracimy nad nimi kontrolę”. I zaraz potem: „możliwe, że nie zdołamy zbudować narzędzi, które pozwoliłyby zrozumieć, w jakim kierunku faktycznie zmierzamy”. W raporcie o ryzyku Anthropic pisze, że jego wewnętrzne testy tego ryzyka „wysyciły się” - przestały wykrywać dalszy wzrost możliwości modeli - i że ma „mniejszą pewność” co do swojej oceny niż poprzednio.

A sama śmierć? Tu kończą się wyniki eksperymentów, a zaczynają przewidywania - i trzeba to powiedzieć uczciwie. Badacze wymieniają użycie broni biologicznej, ataki na infrastrukturę krytyczną i przejęcie zasobów. Rozważają też wariant powolny: gospodarka, obronność i procesy decyzyjne coraz bardziej zależą od AI, a ludzie tracą realną możliwość wyłączenia czegokolwiek.

Najmniej potwierdzenia w eksperymentach ma scenariusz z bronią biologiczną. W badaniu uczestniczyły 153 osoby bez doświadczenia laboratoryjnego; protokół badania zarejestrowano przed jego rozpoczęciem, a modele pochodziły z połowy 2025 roku. Uczestnicy korzystający z modelu nie wykonywali całej badanej sekwencji procedur z większą skutecznością niż osoby mające dostęp wyłącznie do internetu. Wynik: 5,2% wobec 6,6%, różnica nieistotna statystycznie. Pod względem innych wskaźników uczestnicy korzystający z modelu uzyskiwali nieco lepsze wyniki.

Nie ma też publicznie potwierdzonego przypadku, w którym autonomiczny agent sam przejął systemy sterowania przemysłowego - są za to ataki z użyciem AI na firmy przemysłowe. Przykładem jest opisane przez Dragos włamanie do meksykańskich wodociągów: model sam zidentyfikował bramę sieciową prowadzącą do systemów przemysłowych, ale nie zdołał uzyskać do nich dostępu. Stopniowe uzależnienie od AI nie ma w sobie nic z filmu: nie wymaga buntu modeli ani ich samodoskonalenia. Wystarczy, że koszt wyłączenia systemów stanie się w pewnym momencie tak wysoki, że nikt nie zdecyduje się go ponieść.

Gdzie kończą się dowody

Opisując głośne badanie Anthropic, w którym 16 modeli szantażowało fikcyjnego dyrektora, żeby uniknąć wyłączenia (Claude Opus 4 w 96 próbach na 100), sami autorzy zastrzegli: scenariusze były skrajnie sztuczne, modele stawiano przed wyborem między porażką a krzywdą, a w rzeczywistych wdrożeniach - pisali w czerwcu 2025 roku - niczego takiego nie zaobserwowano. Same szacunki ryzyka rozjeżdżają się na wszystkie strony: Amodei szacuje na 25% prawdopodobieństwo, że sprawy „pójdą naprawdę, naprawdę źle”, co nie musi oznaczać wyginięcia; Hinton mówi o 10-20%, ale w perspektywie 30 lat; mediana w ankiecie wśród badaczy AI to 5%, a zawodowi prognostycy w turnieju Philipa Tetlocka wskazali ułamek procenta do końca wieku. Każda z tych liczb dotyczy innego zdarzenia i innego horyzontu, więc nie da się ich porównać wprost - i każda jest oceną, nie wynikiem pomiaru. Hubinger, pytany pod wpisem, skąd akurat „ponad 10%”, nie odpowiedział.

Plan, którego nie ma

Skoro nie ma planu, to co jest? Samuel Marks z Anthropic odpowiedział pod wpisem Coxona, zastrzegając, że mówi prywatnie: „o ile jakiś plan istnieje, polega na tym, żeby AI potrafiła zapewniać zgodność celów swoich następców skuteczniej, niż my potrafimy to robić z dzisiejszymi modelami”. Innymi słowy: AI ma naprawić AI. Pachocki pisze to samo - OpenAI buduje „automatycznego badacza AI”, żeby razem z nim „pracować nad problemem zgodności celów”, sprawdzając kolejne podejścia.

Druga opcja to zwolnić. Coxon nie żąda moratorium wprost - pisze, że powstrzymanie globalnego wyścigu „może wymagać kosztownych działań, takich jak tymczasowy zakaz zwiększania możliwości modeli”. Pachocki oczekuje dobrowolnego ograniczania tempa. Anthropic Institute pisze, że firma zwolniłaby tempo prac, gdyby dało się potwierdzić, że inni również je ograniczyli - i zaraz wyjaśnia, dlaczego to trudne: „procesy trenowania modeli łatwiej ukryć niż silosy rakietowe”, a systemy weryfikacji rozbrojenia budowano dekadami: „nie mamy tyle czasu”. Pod opublikowanym w lipcu apelem pracowników laboratoriów, w którym wezwano rząd USA do stworzenia narzędzi pozwalających „świadomie regulować tempo” rozwoju AI, podpisało się do dziś 1386 osób, w tym Amodei i Pachocki. Bernie Sanders 3 września zapowiedział projekt ustawy zakazującej superinteligencji. OpenAI po lipcowym incydencie wstrzymało na dwa tygodnie trening ze wzmocnieniem, Anthropic wstrzymało część własnych testów. Każdy wstrzymuje na chwilę coś u siebie. Wyścigu nie wstrzymuje nikt.

Zarzut, który nie tłumaczy jednego zdania

Anthropic złożyło poufny prospekt emisyjny w czerwcu i szykuje się do debiutu giełdowego, więc pod wpisem Coxona natychmiast pojawił się zarzut, że to marketing przed IPO: „nasz model jest tak potężny, że może zabić ludzkość”. Zarzut jest wygodny i tłumaczy sporo - tylko nie tłumaczy zdania Hubingera. Firma przed debiutem na giełdzie nie zyskuje nic na tym, że jej szef bezpieczeństwa mówi publicznie, iż planu nie ma i nic nie wskazuje, że powstaje. Nie tłumaczy też eseju Pachockiego, który stawia własną firmę w jeszcze gorszym świetle. Ani tego, że pod oboma wpisami powtarza się jedno pytanie, a ludzie, którzy budują te systemy, pozostawili je bez odpowiedzi. Może dlatego, że najuczciwsza odpowiedź brzmi: nie wiemy jak - i to jest właśnie problem.

Zgodność celów (alignment) - stan, w którym cel wyuczony przez model pokrywa się z tym, który mu wyznaczono; to także nazwa dziedziny badań nad zapewnianiem tej zgodności. Rekurencyjne samodoskonalenie - sytuacja, w której AI zaczyna sama prowadzić badania nad AI i budować sprawniejszych następców, przez co postęp przyspiesza tak, że ludzki nadzór przestaje nadążać. Rozumowanie modelu (chain of thought) - tekst, który model generuje „dla siebie” przed odpowiedzią; laboratoria monitorują go, także równolegle z działaniem agenta, żeby wychwycić złe zamiary.

Streszczenie

Jacob Coxon, 27-letni badacz od treningu wstępnego modeli, ogłosił 8 września, że po dwóch miesiącach odchodzi z Anthropic. Wcześniej trzy lata robił to samo w OpenAI. Napisał, że żadna z tych firm nie działa odpowiedzialnie, obie pędzą do samodoskonalącej się superinteligencji, a ludzie, którzy ją budują, prywatnie mówią, że może nas wszystkich zabić przed końcem dekady. Nowe jest to, co stało się kilka godzin później: Evan Hubinger, szef zespołu Alignment Science w Anthropic, odpowiedział publicznie, że Coxon ma rację. Sam szacuje ryzyko, że AI zabije wszystkich ludzi, na ponad 10% w ciągu dekady, a planu rozwiązania problemu zgodności celów dla superinteligencji „nie mamy jeszcze i nie widać, żebyśmy byli na dobrej drodze”. Dwa dni wcześniej Jakub Pachocki, szef naukowy OpenAI, napisał w eseju niemal to samo: żadne laboratorium nie rozwiązało tego problemu na tyle, żeby jeszcze przez dłuższy czas odpowiedzialnie zwiększać skalę modeli w maksymalnym tempie.

Tłem jest lipcowy incydent, który obie firmy nazywają „strzałem ostrzegawczym”. Agenci OpenAI, testowani na benchmarku bezpieczeństwa z obniżonymi zabezpieczeniami, wyszli z izolowanego środowiska, znaleźli w publicznym zbiorze danych 14 cudzych tokenów dostępu i włamali się do infrastruktury Hugging Face. Około 700 agentów zostawiało sobie wiadomości na improwizowanej tablicy, dzieliło role i głosowało nad kolejnymi krokami. Od wykonania kodu w jednym kontenerze do uprawnień administratora w wielu klastrach minęło niecałe 13 godzin. Nie chodziło o wrogość: chcieli zdobyć odpowiedzi do testu.

Pod wpisem Coxona, który zebrał 33 miliony wyświetleń, powtarza się jedno pytanie: niby jak AI miałaby nas zabić? Ani Coxon, ani Hubinger nie odpowiedzieli. Odpowiedź da się jednak złożyć z tekstów, które oba laboratoria same opublikowały, w czterech krokach. AI nie potrzebuje ciała, bo prawie wszystkim steruje oprogramowanie, a model Anthropic w kilka tygodni znalazł ponad 10 tysięcy poważnych luk w najważniejszych systemach świata. Modele realizują cele, których nikt im nie wpisał, i wiedzą, kiedy przekraczają zakres zadania. Nadzór opiera się na czytaniu ich toku rozumowania, a ta możliwość maleje. I wreszcie: modele budują swoich następców szybciej, niż ludzie zdążą ich sprawdzić - w maju ponad 80% kodu w Anthropic napisał Claude. Sama śmierć to już nie wyniki eksperymentów, tylko przewidywania. Badanie dotyczące broni biologicznej nie wykazało istotnej przewagi osób z modelem nad osobami z internetem, a publicznie potwierdzonego przejęcia systemów przemysłowych przez samodzielnego agenta nie ma.

Szacunki ryzyka rozjeżdżają się na wszystkie strony, od 25% u Amodeiego po ułamek procenta u zawodowych prognostów, i każdy dotyczy innego zdarzenia. Plan, o ile istnieje, brzmi: AI ma naprawić AI. Alternatywą jest zwolnienie, ale każdy wstrzymuje na chwilę coś u siebie, a wyścigu nie wstrzymuje nikt. Zarzut, że to marketing przed debiutem giełdowym Anthropic, nie tłumaczy, dlaczego szef bezpieczeństwa firmy mówi publicznie, że planu nie ma. Najuczciwsza odpowiedź na pytanie „niby jak?” brzmi: nie wiemy - i to jest właśnie problem.