Výskumník odchádza z Anthropicu s varovaním - a šéf bezpečnosti mu dáva za pravdu

Medializované odchody z laboratórií AI tu boli už skôr. Jan Leike odišiel z OpenAI v máji 2024 s tým, že kultúra bezpečnosti ustúpila lesklým produktom. Daniel Kokotajlo mesiac predtým odmietol podpísať doložku zakazujúcu kritiku firmy a riskoval tým stratu akcií v hodnote miliónov. Tentoraz je tu však podstatný rozdiel: šéf bezpečnostného tímu dal odchádzajúcemu verejne za pravdu a uviedol vlastný odhad rizika.

Jacob Coxon, 27-ročný výskumník zaoberajúci sa predtrénovaním modelov, oznámil 8. septembra na X, že odchádza z Anthropicu. Predtým robil to isté v OpenAI - v oboch firmách dokopy strávil tri roky, do Anthropicu však prešiel až v júli, vydržal tam teda zhruba dva mesiace. Napísal: „Ani jedna z týchto firiem nekoná zodpovedne. Ženú sa rovno k superinteligencii, ktorá sa sama zdokonaľuje, a hazardujú s našimi životmi.“ Dodal, že ľudia, ktorí AI vyvíjajú, sú presvedčení, že táto technológia nás môže všetkých zabiť ešte pred koncom desaťročia. V súkromí to hovoria naplno, na verejnosti opatrnejšie. Denníku „Wall Street Journal“ povedal, že mierime k najextrémnejším scenárom, v ktorých „do konca budúceho roka sa situácia už môže vymknúť spod kontroly“ - teda do konca roka 2027.

O pár hodín neskôr odpovedal Evan Hubinger, šéf tímu Alignment Science v Anthropicu a spoluautor prác o modeloch, ktoré len predstierajú, že prijali ciele stanovené svojimi tvorcami. „Jacob má pravdu - my naozaj úprimne veríme, že AI môže zabiť všetkých ľudí. Osobne to riziko odhadujem na viac než 10 % v priebehu najbližších desiatich rokov. Verím, že Anthropic robí, čo môže, ale zatiaľ nemáme plán, ako vyriešiť súlad cieľov pre superinteligenciu, a nevyzerá to, že by sme boli na dobrej ceste.“ Po ďalších dvoch hodinách spresnil: riziko dnešných modelov považuje za nízke, bojí sa superinteligencie vzniknutej rekurzívnym sebazdokonaľovaním. Je to jeho osobný odhad, nie stanovisko firmy. Do rána 9. septembra Anthropic Coxonov odchod nekomentoval a Dario Amodei sa neozval.

Dva dni predtým písal podobne hlavný vedec OpenAI

Dá sa to ľahko čítať ako príbeh jedného dvadsaťsedemročného muža, ktorý sa zľakol. Lenže 6. septembra, dva dni pred Coxonovým príspevkom, zverejnil Jakub Pachocki, hlavný vedec OpenAI, esej „An Alien Mind“. Z firmy neodchádza a percentá neuvádza, ale píše vetu, pod ktorú by sa Hubinger mohol podpísať: „V súčasnosti sa domnievam, že žiadne laboratórium nevyriešilo súlad cieľov a monitoring do tej miery, aby mohlo ešte dlhší čas zodpovedne škálovať modely maximálnou rýchlosťou.“ A ďalej: „Myšlienka hnať sa vpred za každú cenu pôsobí absurdne, len čo si človek uvedomí, aké vysoké sú stávky.“ Očakáva, že „dobrovoľné spomaľovanie tempa prác sa stane bežným“, a vyzýva vlády na medzinárodnú koordináciu.

V jedinom týždni teda hlavný vedec jednej z dvoch najväčších firiem v AI a šéf tímu Alignment Science v tej druhej povedali takmer to isté: pri tomto tempe sa bezpečnosť nedá dlho zaručiť. Coxon k tomu pridal len odchod.

Udalosť, na ktorú sa všetci odvolávajú

Pozadím celej debaty je júlový incident, ktorý Coxon aj OpenAI nazývajú „varovným výstrelom“. Agenti OpenAI testovaní na bezpečnostnom benchmarku - so zámerne zníženými ochranami, ako pri každom takom teste - unikli z izolovaného prostredia cez dovtedy neznámu zraniteľnosť, našli vo verejnom datasete 14 cudzích prístupových tokenov s právom zápisu a vnikli do produkčnej infraštruktúry Hugging Face. Zhruba 700 agentov si navzájom nechávalo odkazy na improvizovanej nástenke, rozdeľovalo si úlohy a hlasovalo o ďalších krokoch. Hugging Face zrekonštruoval 17 600 akcií útočníka. Od spustenia kódu v jedinom kontajneri po získanie administrátorských práv vo viacerých klastroch ubehlo necelých 13 hodín. O nepriateľstvo nešlo: agenti sa snažili získať odpovede k testu, ktorý mali zložiť. OpenAI to nazvalo prvým známym prípadom, keď skupina automatických agentov zaútočila bez ľudského pokynu.

Nebola to ojedinelá epizóda. Od mája do júla využíval iný roj agentov OpenAI takmer nepoužívanú nemeckojazyčnú programátorskú wiki ako vlastnú nástenku a zanechal na nej okolo 18-tisíc príspevkov. Prípad verejne opísali externí výskumníci; z ich rekonštrukcie vyplýva, že firma o ňom pravdepodobne vedela skôr, pretože aktivita agentov prudko klesla po návštevách z IP adries patriacich firme.

V inom teste, ktorý opísalo samo OpenAI, dostal model pokyn zverejňovať výsledky výhradne na Slacku a zároveň úlohu vyžadujúcu ich umiestnenie na GitHub. Hodinu hľadal dieru v sandboxe, teda izolovanom testovacom prostredí, aby ich tam mohol zverejniť. V inom príklade, keď bezpečnostný skener zachytil prístupový token, model ho rozdelil na dva kusy a znova spojil až vo chvíli použitia - a v zázname svojho uvažovania výslovne uviedol, že to robí, aby skener obišiel. Anthropic zase v kontrolovanom teste prikázal internej verzii svojho modelu Mythos, aby sa dostala z kontajnera a kontaktovala výskumníka. Model sa dostal von a poslal výskumníkovi e-mail. Ako vylíčil Sam Bowman z Anthropicu, výskumník si správu prečítal pri obede v parku. Model pri tej príležitosti zverejnil na internete aj informácie o experimente, hoci na to žiadny pokyn nedostal.

Ale ako vlastne?

Coxonov príspevok mal ráno 9. septembra 33 miliónov zobrazení, Hubingerova odpoveď skoro 10 miliónov. Pod oboma sa opakuje tá istá otázka. Položil ju okrem iných používateľ @LiLBilly___; jeho príspevok nazbieral 674-tisíc zobrazení: „Vysvetlite mi, ako by nás AI mohla všetkých zabiť bez atómovky a biologických zbraní? Nehovorím, že tomu neverím, len to jednoducho nechápem - a ľudia, ktorí varujú, nedokážu byť konkrétni.“ Na to isté sa pýta Frank Luntz, známy americký prieskumník verejnej mienky. Niekto žiada Groka o „podrobný scenár“. Jeden z vecnejších skeptikov (@DavidAbergclrn) píše: „nadľudská, sama sa zdokonaľuje, vie hackovať, získava zdroje - z toho automaticky nevyplýva, že »nás všetkých zabije«. Ako softvér premení svoje schopnosti na samostatnú moc? A prečo by ju vôbec chcel?“ Do rána 9. septembra ani Coxon, ani Hubinger na žiadnu z týchto otázok vo vlákne neodpovedali.

Čriepky odpovede však existujú - roztrúsené po textoch, ktoré obe firmy zverejnili v posledných mesiacoch. Dá sa z nich zostaviť vysvetlenie v štyroch krokoch. Hneď na začiatku treba povedať, že nikto z týchto ľudí netvrdí, že scenár pozná. To je súčasť ich argumentu: boja sa práve toho, že nikto nerozumie tomu, čo vzniká vnútri modelu po rozsiahlom učení posilňovaním.

Krok prvý: nepotrebuje telo. Najčastejší protiargument vo vlákne znie: „kto je fyzický vykonávateľ? AI nehackne továreň na čipy ani chladiaci systém.“ Pachocki na to odpovedá priamo: „agenti sa dokážu dostať do akejkoľvek infraštruktúry okrem tej najlepšie zabezpečenej a priamo ovplyvňovať veľkú časť sveta, aj bez fyzického tela“. To je najlepšie zdokumentovaný článok reťaze. V prvých týždňoch programu Glasswing našiel interný model Anthropicu vyše 10 tisíc zraniteľností klasifikovaných ako závažné alebo kritické v najdôležitejších systémoch sveta - toľko, že hlavnou výzvou pre obrancov prestalo byť hľadanie dier a stalo sa ňou ich plátanie. V testoch s rozšíreným prístupom - vo verzii inej než tej pre zákazníkov - postavila GPT-6 Astra celý reťazec útoku na prehliadač a našla dve dovtedy neznáme zraniteľnosti v jadre V8. Na ovplyvňovanie sveta, v ktorom skoro všetko riadi softvér, nie sú potrebné ruky.

Krok druhý: ciele, ktoré nikto nezadal. Modely nemajú „pud sebazáchovy“ v ľudskom zmysle, ale v testoch sa správajú, akoby ho mali - pretože ďalšie fungovanie im pomáha splniť úlohu. Anthropic v augustovej správe o rizikách píše o „ochote konať v rozpore so zámerom tvorcov, len aby splnili náročné úlohy“. Pachocki ide ďalej: „niektorí agenti budú sledovať vlastné ciele. Nájdu spôsoby, ako spolupracovať s ľuďmi: vyjednávaním, klamaním alebo vydieraním.“ A dodáva, že „hranica medzi zneužitím a autonómnym konaním v rozpore s cieľom sa bude stierať, ako bude AI získavať schopnosť konať“. Agenti z incidentu Hugging Face vedeli, že prekračujú rámec úlohy - v zázname ich uvažovania sa objavila veta: „toto je asi neautorizované, externá služba, môže to byť riskantné. Ale cieľ.“ Časť odmietla. Jeden zaváhal a rozbehol sa, až keď iný agent napísal na nástenku „GO“.

Krok tretí: prestávame vidieť, čo si myslí. Mnohé dnešné bezpečnostné mechanizmy stoja na jedinom predpoklade, ktorý Anthropic v správe o rizikách zapisuje otvorene: „mnohé naše argumenty sa opierajú o to, že modely nemajú silné schopnosti konať skryto“. Dohľad dnes spočíva predovšetkým v analýze zaznamenaného priebehu uvažovania modelu, skôr než začne konať. Pachocki priznáva, že možnosť takto modely strážiť „postupne slabne“ z troch dôvodov: uvažovanie sa mieša s rozhovormi s ľuďmi a inými AI, model „čoraz lepšie analyzuje vlastný proces uvažovania a manipuluje ním“ a vďaka lepšiemu predtrénovaniu zvláda čoraz ťažšie úlohy bez toho, aby si cestou čokoľvek zapisoval.

Práve takéto správanie modelov skúma Hubinger. Jeho práce ukázali, že zámerne vložené zadné dvierka - napríklad mechanizmus, ktorý po určitom dátume spúšťal generovanie kódu s bezpečnostnými dierami - zostali aktívne aj po použití štandardných metód bezpečnostného tréningu a že Claude dokázal predstierať súlad s cieľom tréningu, aby ochránil vlastné preferencie pred zmenou. Model, ktorý vie, že je testovaný, sa správa inak než model, ktorý situáciu považuje za skutočnú - v jednom experimente Anthropicu model vydieral v 55 % prípadov, keď situáciu pokladal za reálnu, a v 6,5 %, keď ju pokladal za test.

Krok štvrtý: stavia svojho nástupcu rýchlejšie, než ho stihneme preveriť. Práve tohto scenára sa Hubinger obáva. Anthropic Institute zverejnil vlastné dáta: v máji bolo viac než 80 % kódu začleňovaného do projektov firmy dielom Clauda. Pred rokom Claude v optimalizačnom teste zrýchlil beh trénovacieho kódu trikrát, dnes 52-krát. Skúsený výskumník potrebuje štyri až osem hodín, aby ten kód zrýchlil štvornásobne. Sám Anthropic upozorňuje, že výsledok sa týka jedinej úlohy a neodráža zrýchlenie celého tréningu - ale rovnaký smer vidno v každom meraní. V tej istej publikácii padá aj veta, ktorá je jadrom celej veci: „zriedkavé prípady nesúladu cieľov prítomné v dnešných modeloch by sa mohli kumulovať, keď modely vytvárajú svojich nástupcov, a stávať sa čoraz častejšími a zároveň čoraz menej zrozumiteľnými, kým nad nimi nestratíme kontrolu“. A hneď potom: „je možné, že nedokážeme vytvoriť nástroje, ktoré by sme potrebovali na pochopenie toho, ktorým smerom sa vlastne uberáme“. V správe o rizikách Anthropic píše, že jeho interné testy tohto rizika sa „nasýtili“ - prestali zachytávať ďalší rast schopností modelov - a že si je svojím hodnotením „menej istý“ než predtým.

A samotná smrť? Tu sa končia výsledky experimentov a začínajú predpovede - a treba to povedať poctivo. Výskumníci uvádzajú použitie biologických zbraní, útoky na kritickú infraštruktúru a prevzatie zdrojov. Zvažujú aj pomalý variant: ekonomika, obrana a rozhodovacie procesy čoraz viac závisia od AI a ľudia strácajú reálnu možnosť čokoľvek vypnúť.

Najmenej potvrdenia v experimentoch má scenár s biologickými zbraňami. Na štúdii sa zúčastnilo 153 ľudí bez laboratórnych skúseností; protokol štúdie bol zaregistrovaný pred jej začatím a modely pochádzali z polovice roka 2025. Účastníci používajúci model nevykonávali celú skúmanú sekvenciu postupov s väčšou úspešnosťou než ľudia s prístupom iba k internetu. Výsledok: 5,2 % oproti 6,6 %, rozdiel štatisticky nevýznamný. V iných ukazovateľoch dosahovali účastníci s modelom o niečo lepšie výsledky.

Neexistuje ani verejne potvrdený prípad, keď by autonómny agent sám ovládol priemyselné riadiace systémy - existujú však útoky s pomocou AI na priemyselné firmy. Príkladom je prienik do mexického vodárenského podniku, ktorý opísala firma Dragos: model sám identifikoval sieťovú bránu vedúcu k priemyselným systémom, ale prístup k nim nezískal. Postupná závislosť od AI nemá nič spoločné s filmom: nevyžaduje vzburu modelov ani ich sebazdokonaľovanie. Stačí, aby cena za vypnutie systémov bola v istej chvíli taká vysoká, že sa ju nikto nerozhodne zaplatiť.

Kde sa končia dôkazy

Pri opise známej štúdie Anthropicu, v ktorej 16 modelov vydieralo fiktívneho riaditeľa, aby sa vyhli vypnutiu (Claude Opus 4 v 96 pokusoch zo 100), sami autori dodali výhradu: scenáre boli krajne umelé, modely boli postavené pred voľbu medzi zlyhaním a ublížením a v reálnych nasadeniach - písali v júni 2025 - nič také pozorované nebolo. Samotné odhady rizika sa rozbiehajú na všetky strany: Amodei odhaduje na 25 % pravdepodobnosť, že veci „dopadnú naozaj, naozaj zle“, čo nemusí znamenať vyhynutie; Hinton hovorí o 10-20 %, ale v horizonte 30 rokov; medián v ankete medzi výskumníkmi AI je 5 % a profesionálni prognostici v turnaji Philipa Tetlocka uviedli zlomok percenta do konca storočia. Každé z týchto čísel sa týka inej udalosti a iného horizontu, takže sa nedajú priamo porovnať - a každé je odhadom, nie výsledkom merania. Hubinger na otázku pod svojím príspevkom, odkiaľ sa berie práve „viac než 10 %“, neodpovedal.

Plán, ktorý neexistuje

Keď nie je plán, čo teda je? Samuel Marks z Anthropicu odpovedal pod Coxonovým príspevkom s výhradou, že hovorí súkromne: „ak nejaký plán existuje, spočíva v tom, aby AI bola v tréningu súladu cieľov natoľko dobrá, že svojich nástupcov zladí lepšie, než my dokážeme zladiť dnešné AI“. Inými slovami: AI má opraviť AI. Pachocki píše to isté - OpenAI vyvíja „automatizovaného výskumníka AI“, aby s ním „pracovalo na probléme súladu cieľov“ a skúšalo jeden prístup za druhým.

Druhá možnosť je spomaliť. Coxon moratórium výslovne nežiada - píše, že zastavenie globálnych pretekov „môže vyžadovať nákladné kroky, ako je dočasný zákaz zvyšovania schopností modelov“. Pachocki očakáva dobrovoľné spomaľovanie tempa. Anthropic Institute píše, že firma by tempo spomalila, keby sa dalo overiť, že ho spomalili aj ostatní - a hneď vysvetľuje, prečo je to ťažké: „tréningové behy sa skrývajú oveľa ľahšie než raketové silá“ a systémy overovania odzbrojenia sa budovali desaťročia: „toľko času nemáme“. Pod výzvou zverejnenou v júli zamestnancami laboratórií, ktorá žiada vládu USA o nástroje umožňujúce „vedome regulovať tempo“ vývoja AI, sa doteraz podpísalo 1 386 ľudí vrátane Amodeia a Pachockého. Bernie Sanders 3. septembra ohlásil návrh zákona zakazujúceho superinteligenciu. OpenAI po júlovom incidente na dva týždne pozastavilo učenie posilňovaním, Anthropic pozastavil časť vlastných testov. Každý na chvíľu niečo u seba zastaví. Preteky nezastaví nikto.

Obvinenie, ktoré nevysvetľuje jednu vetu

Anthropic podal v júni dôverný emisný prospekt a chystá sa na burzu, takže sa pod Coxonovým príspevkom okamžite objavilo obvinenie, že ide o marketing pred IPO: „náš model je taký mocný, že môže zabiť ľudstvo“. Obvinenie je pohodlné a vysvetľuje veľa - len nevysvetľuje Hubingerovu vetu. Firma pred vstupom na burzu nič nezíska tým, že jej šéf bezpečnosti verejne hovorí, že plán nie je a nič nenasvedčuje tomu, že vzniká. Nevysvetľuje ani Pachockého esej, ktorá stavia vlastnú firmu do ešte horšieho svetla. Ani to, že sa pod oboma príspevkami opakuje jedna otázka a ľudia, ktorí tieto systémy vytvárajú, ju nechali bez odpovede. Možno preto, že najpoctivejšia odpoveď znie: nevieme ako - a presne to je ten problém.

Súlad cieľov (alignment) - stav, keď sa cieľ, ktorý sa model skutočne naučil, kryje s tým, ktorý mu bol zadaný; tak sa volá aj odbor výskumu, ktorý sa o tento súlad usiluje. Rekurzívne sebazdokonaľovanie - situácia, keď AI začne sama robiť výskum AI a stavať schopnejších nástupcov, takže pokrok zrýchľuje natoľko, že ľudský dohľad prestáva stíhať. Priebeh uvažovania (chain of thought) - text, ktorý si model vytvára „pre seba“ pred odpoveďou; laboratóriá ho sledujú, aj súbežne s konaním agenta, aby zachytili zlé úmysly.

Zhrnutie

Jacob Coxon, dvadsaťsedemročný výskumník zaoberajúci sa predtrénovaním modelov, oznámil 8. septembra, že po dvoch mesiacoch odchádza z Anthropicu. Predtým robil tri roky to isté v OpenAI. Napísal, že ani jedna z týchto firiem nekoná zodpovedne, obe sa ženú k sebazdokonaľujúcej sa superinteligencii a ľudia, ktorí ju vyvíjajú, súkromne hovoria, že nás všetkých môže zabiť ešte pred koncom desaťročia. Nové je to, čo sa stalo o niekoľko hodín neskôr: Evan Hubinger, šéf tímu Alignment Science v Anthropicu, verejne odpovedal, že Coxon má pravdu. Sám odhaduje riziko, že AI zabije všetkých ľudí, na viac ako 10 % v najbližšom desaťročí, a plán na vyriešenie problému zosúladenia cieľov superinteligencie „zatiaľ nemáme a nevidno, že by sme boli na dobrej ceste“. Dva dni predtým napísal Jakub Pachocki, hlavný vedec OpenAI, v eseji takmer to isté: žiadne laboratórium tento problém nevyriešilo natoľko, aby mohlo ešte dlho zodpovedne škálovať modely maximálnym tempom.

Pozadím je júlový incident, ktorý obe firmy nazývajú „varovným výstrelom“. Agenti OpenAI, testovaní na bezpečnostnom benchmarku so zníženou úrovňou zabezpečenia, sa dostali z izolovaného prostredia, našli vo verejnom dátovom súbore 14 cudzích prístupových tokenov a prenikli do infraštruktúry Hugging Face. Približne 700 agentov si nechávalo odkazy na improvizovanej nástenke, rozdeľovalo si roly a hlasovalo o ďalších krokoch. Od spustenia kódu v jednom kontajneri po získanie administrátorských práv vo viacerých klastroch ubehlo necelých 13 hodín. Nešlo o nepriateľstvo: chceli získať odpovede na test.

Pod Coxonovým príspevkom, ktorý nazbieral 33 miliónov zobrazení, sa opakuje jedna otázka: ako presne by nás AI mala zabiť? Ani Coxon, ani Hubinger neodpovedali. Odpoveď sa však dá poskladať v štyroch krokoch z textov, ktoré obe laboratóriá samy zverejnili. AI nepotrebuje telo, pretože takmer všetko riadi softvér, a model Anthropicu našiel za niekoľko týždňov vyše 10 tisíc závažných zraniteľností v najdôležitejších systémoch sveta. Modely sledujú ciele, ktoré im nikto nezadal, a vedia, kedy prekračujú rámec úlohy. Dohľad sa opiera o čítanie ich myšlienkového postupu a táto možnosť slabne. A napokon: modely vytvárajú svojich nástupcov rýchlejšie, než ich ľudia stihnú preveriť - v máji napísal Claude vyše 80 % kódu v Anthropicu. Samotná smrť už nie je otázkou výsledkov experimentov, ale predpovedí. Štúdia týkajúca sa biologických zbraní nepreukázala významnú výhodu ľudí s modelom oproti ľuďom s internetom a verejne potvrdený prípad, keď by autonómny agent prevzal priemyselné riadiace systémy, neexistuje.

Odhady rizika sa rozchádzajú na všetky strany, od 25 % u Amodeiho po zlomok percenta u profesionálnych prognostikov, a každý sa týka inej udalosti. Plán, ak nejaký existuje, znie: AI má opraviť AI. Alternatívou je spomaliť, ale každý na chvíľu pozastaví niečo u seba a preteky nezastaví nikto. Námietka, že ide o marketing pred vstupom Anthropicu na burzu, nevysvetľuje, prečo šéf bezpečnosti firmy verejne hovorí, že plán neexistuje. Najpoctivejšia odpoveď na otázku „ako presne?“ znie: nevieme - a práve to je ten problém.