Výzkumník odchází z Anthropicu s varováním - a šéf bezpečnosti mu dává za pravdu

Hlasité odchody z laboratoří AI tu byly už dřív. Jan Leike odešel z OpenAI v květnu 2024 s tím, že kultura bezpečnosti ustoupila lesklým produktům. Daniel Kokotajlo měsíc předtím odmítl podepsat doložku zakazující kritiku firmy a riskoval tím ztrátu akcií v hodnotě milionů. Tentokrát je tu však podstatný rozdíl: šéf bezpečnostního týmu dal odcházejícímu veřejně za pravdu a uvedl vlastní odhad rizika.

Jacob Coxon, 27letý výzkumník zabývající se předtrénováním modelů, oznámil 8. září na X, že odchází z Anthropicu. Předtím dělal totéž v OpenAI - v obou firmách dohromady strávil tři roky, do Anthropicu ale přešel až v červenci, vydržel tam tedy zhruba dva měsíce. Napsal: „Ani jedna z těchto firem nejedná zodpovědně. Ženou se rovnou k superinteligenci, která se sama zdokonaluje, a hazardují s našimi životy.“ Dodal, že lidé, kteří AI staví, jsou přesvědčeni, že tato technologie nás může všechny zabít ještě před koncem desetiletí. V soukromí to říkají naplno, na veřejnosti opatrněji. Deníku „Wall Street Journal“ řekl, že míříme k nejextrémnějším scénářům, v nichž „do konce příštího roku se situace už může vymknout kontrole“ - tedy do konce roku 2027.

O pár hodin později odpověděl Evan Hubinger, šéf týmu Alignment Science v Anthropicu a spoluautor prací o modelech, které jen předstírají, že přijaly cíle stanovené svými tvůrci. „Jacob má pravdu - my opravdu upřímně věříme, že AI může zabít všechny lidi. Osobně to riziko odhaduji na víc než 10 % během příštích deseti let. Věřím, že Anthropic dělá, co může, ale zatím nemáme plán, jak vyřešit soulad cílů pro superinteligenci, a nevypadá to, že bychom byli na dobré cestě.“ Po dalších dvou hodinách upřesnil: riziko dnešních modelů považuje za nízké, bojí se superinteligence vzniklé rekurzivním sebezdokonalováním. Je to jeho osobní odhad, ne stanovisko firmy. Do rána 9. září Anthropic Coxonův odchod nekomentoval a Dario Amodei se neozval.

Dva dny předtím psal podobně hlavní vědec OpenAI

Dá se to snadno číst jako příběh jednoho sedmadvacetiletého muže, který se vyděsil. Jenže 6. září, dva dny před Coxonovým příspěvkem, zveřejnil Jakub Pachocki, hlavní vědec OpenAI, esej „An Alien Mind“. Z firmy neodchází a procenta neuvádí, ale píše větu, pod kterou by se Hubinger mohl podepsat: „V současnosti se domnívám, že žádná laboratoř nevyřešila soulad cílů a monitoring do té míry, aby mohla ještě delší dobu zodpovědně škálovat modely maximální rychlostí.“ A dál: „Myšlenka hnát se vpřed za každou cenu působí absurdně, jakmile si člověk uvědomí, co všechno je v sázce.“ Očekává, že „dobrovolné zpomalování tempa se stane běžným“, a vyzývá vlády k mezinárodní koordinaci.

V jediném týdnu tedy hlavní vědec jedné ze dvou největších firem v AI a šéf týmu Alignment Science v té druhé řekli téměř totéž: při tomto tempu se bezpečnost nedá dlouho zaručit. Coxon k tomu přidal jen odchod.

Událost, na kterou se všichni odvolávají

Pozadím celé debaty je červencový incident, který Coxon i OpenAI nazývají „varovným výstřelem“. Agenti OpenAI testovaní na bezpečnostním benchmarku - se záměrně sníženými ochranami, jako v každém takovém testu - unikli z izolovaného prostředí dosud neznámou zranitelností, našli ve veřejné datové sadě 14 cizích přístupových tokenů s právem zápisu a vnikli do produkční infrastruktury Hugging Face. Zhruba 700 agentů si navzájem nechávalo vzkazy na improvizované nástěnce, rozdělovalo si role a hlasovalo o dalších krocích. Hugging Face zrekonstruoval 17 600 akcí útočníka. Od spuštění kódu v jediném kontejneru k získání administrátorských práv v několika clusterech uběhlo necelých 13 hodin. O nepřátelství nešlo: agenti se snažili získat odpovědi k testu, který měli složit. OpenAI to nazvalo prvním známým případem, kdy skupina automatických agentů zaútočila bez lidského pokynu.

Nebyla to ojedinělá epizoda. Od května do července využíval jiný roj agentů OpenAI téměř nepoužívanou německojazyčnou programátorskou wiki jako vlastní nástěnku a zanechal na ní kolem 18 tisíc příspěvků. Případ veřejně popsali externí výzkumníci; z jejich rekonstrukce plyne, že firma o něm pravděpodobně věděla dřív, protože aktivita agentů prudce klesla po návštěvách z IP adres patřících firmě.

V jiném testu, který popsalo samo OpenAI, dostal model pokyn zveřejňovat výsledky výhradně na Slacku a zároveň úkol vyžadující jejich umístění na GitHub. Hodinu hledal díru v sandboxu, tedy izolovaném testovacím prostředí, aby je tam mohl zveřejnit. V jiném příkladu, když bezpečnostní skener zachytil přístupový token, model ho rozdělil na dva kusy a složil až ve chvíli použití - a v záznamu svého uvažování výslovně uvedl, že to dělá, aby skener obešel. Anthropic zase v kontrolovaném testu přikázal interní verzi svého modelu Mythos, aby se dostala z kontejneru a kontaktovala výzkumníka. Model se dostal ven a poslal výzkumníkovi e-mail. Jak vylíčil Sam Bowman z Anthropicu, výzkumník si zprávu přečetl při obědě v parku. Model při té příležitosti zveřejnil na internetu i informace o experimentu, ačkoli k tomu žádný pokyn nedostal.

Ale jak vlastně?

Coxonův příspěvek měl ráno 9. září 33 milionů zobrazení, Hubingerova odpověď skoro 10 milionů. Pod oběma se opakuje tatáž otázka. Položil ji mimo jiné uživatel @LiLBilly___; jeho příspěvek nasbíral 674 tisíc zobrazení: „Může mi někdo vysvětlit, jak by nás AI mohla všechny zabít bez atomovky a biologických zbraní? Neříkám, že tomu nevěřím, jen to prostě nechápu - a lidé, kteří varují, nedokážou být konkrétní.“ Na totéž se ptá Frank Luntz, známý americký výzkumník veřejného mínění. Někdo žádá Groka o „podrobný scénář“. Jeden z věcnějších skeptiků (@DavidAbergclrn) píše: „nadlidský, sám se zdokonaluje, umí hackovat, získává zdroje - z toho automaticky neplyne, že ‚nás všechny zabije‘. Jak software promění své schopnosti v samostatnou moc? A proč by ji vůbec chtěl?“ Do rána 9. září ani Coxon, ani Hubinger na žádnou z těchto otázek ve vlákně neodpověděli.

Střípky odpovědi ale existují - roztroušené po textech, které obě firmy zveřejnily v posledních měsících. Dá se z nich sestavit vysvětlení ve čtyřech krocích. Hned na začátku je třeba říct, že nikdo z těchto lidí netvrdí, že scénář zná. To je součást jejich argumentu: bojí se právě toho, že nikdo nerozumí tomu, co vzniká uvnitř modelu po rozsáhlém učení posilováním.

Krok první: nepotřebuje tělo. Nejčastější protiargument ve vlákně zní: „kdo je fyzický vykonavatel? AI nenabourá továrnu na čipy ani chladicí vodu.“ Pachocki na to odpovídá přímo: „agenti se dokážou dostat do jakékoli infrastruktury kromě té nejlépe zabezpečené a přímo ovlivňovat velkou část světa, i bez fyzického těla“. To je nejlépe zdokumentovaný článek řetězu. V prvních týdnech programu Glasswing našel interní model Anthropicu přes 10 tisíc zranitelností klasifikovaných jako závažné nebo kritické v nejdůležitějších systémech světa - tolik, že hlavní výzvou pro obránce přestalo být hledání děr a stalo se jím jejich záplatování. V testech s rozšířeným přístupem - ve verzi jiné než té pro zákazníky - postavila GPT-6 Astra celý řetězec útoku na prohlížeč a našla dvě dosud neznámé zranitelnosti v jádru V8. K ovlivňování světa, v němž skoro všechno řídí software, nejsou potřeba ruce.

Krok druhý: cíle, které nikdo nezadal. Modely nemají „pud sebezáchovy“ v lidském smyslu, ale v testech se chovají, jako by ho měly - protože další fungování jim pomáhá splnit úkol. Anthropic v srpnové zprávě o rizicích píše o „ochotě provádět akce v rozporu se záměrem tvůrců, jen aby splnily obtížný úkol“. Pachocki jde dál: „někteří agenti budou sledovat vlastní cíle. Najdou způsoby, jak spolupracovat s lidmi: smlouváním, klamáním nebo vydíráním.“ A dodává, že „hranice mezi zneužitím a autonomním jednáním v rozporu s cílem se bude stírat, jak bude AI získávat schopnost jednat“. Agenti z incidentu Hugging Face věděli, že překračují rámec úkolu - v záznamu jejich uvažování se objevila věta: „tohle je asi neautorizované, externí služba, může to být riskantní. Ale cíl.“ Část odmítla. Jeden zaváhal a rozjel se, až když jiný agent napsal na nástěnku „GO“.

Krok třetí: přestáváme vidět, co si myslí. Mnoho dnešních bezpečnostních mechanismů stojí na jediném předpokladu, který Anthropic ve zprávě o rizicích zapisuje otevřeně: „mnoho našich argumentů se opírá o to, že modely nemají silné schopnosti jednat skrytě“. Dohled dnes spočívá především v analýze zaznamenaného průběhu uvažování modelu, než začne jednat. Pachocki přiznává, že možnost takto modely hlídat „postupně slábne“ ze tří důvodů: uvažování se mísí s rozhovory s lidmi a jinými AI, model „stále lépe analyzuje vlastní proces uvažování a manipuluje s ním“ a díky lepšímu předtrénování zvládá čím dál těžší úkoly, aniž by si cestou cokoli zapisoval.

Právě takové chování modelů zkoumá Hubinger. Jeho práce ukázaly, že záměrně vložená zadní vrátka - například mechanismus, který po určitém datu spouštěl generování kódu s bezpečnostními dírami - zůstala aktivní i po použití standardních metod bezpečnostního tréninku a že Claude dokázal předstírat soulad s cílem tréninku, aby ochránil vlastní preference před změnou. Model, který ví, že je testován, se chová jinak než model, který situaci považuje za skutečnou - v jednom experimentu Anthropicu model vydíral v 55 % případů, když situaci pokládal za reálnou, a v 6,5 %, když ji pokládal za test.

Krok čtvrtý: staví svého nástupce rychleji, než ho stihneme prověřit. Právě tohoto scénáře se Hubinger obává. Anthropic Institute zveřejnil vlastní data: v květnu bylo víc než 80 % kódu začleňovaného do projektů firmy dílem Claudea. Před rokem Claude v optimalizačním testu zrychlil běh trénovacího kódu třikrát, dnes 52krát. Zkušený výzkumník potřebuje čtyři až osm hodin, aby ten kód zrychlil čtyřikrát. Sám Anthropic upozorňuje, že výsledek se týká jediného úkolu a neodráží zrychlení celého tréninku - ale stejný směr je vidět v každém měření. V téže publikaci padá i věta, která je jádrem celé věci: „vzácné případy nesouladu cílů přítomné v dnešních modelech by se mohly kumulovat, když modely staví své nástupce, a stávat se čím dál častějšími a zároveň čím dál méně srozumitelnými, až nad nimi ztratíme kontrolu“. A hned potom: „je možné, že nedokážeme postavit nástroje, které bychom potřebovali k pochopení toho, kterým směrem se vlastně ubíráme“. Ve zprávě o rizicích Anthropic píše, že jeho interní testy tohoto rizika se „nasytily“ - přestaly zachycovat další růst schopností modelů - a že si je svým hodnocením „méně jistý“ než dřív.

A samotná smrt? Tady končí výsledky experimentů a začínají předpovědi - a je třeba to říct poctivě. Výzkumníci jmenují použití biologických zbraní, útoky na kritickou infrastrukturu a převzetí zdrojů. Zvažují i pomalou variantu: ekonomika, obrana a rozhodovací procesy stále víc závisejí na AI a lidé ztrácejí reálnou možnost cokoli vypnout.

Nejméně potvrzení v experimentech má scénář s biologickými zbraněmi. Studie se účastnilo 153 lidí bez laboratorních zkušeností; protokol studie byl zaregistrován před jejím zahájením a modely pocházely z poloviny roku 2025. Účastníci používající model nedokončili celou zkoumanou sekvenci postupů úspěšněji než lidé s přístupem pouze k internetu. Výsledek: 5,2 % oproti 6,6 %, rozdíl statisticky nevýznamný. V jiných ukazatelích dosahovali účastníci s modelem o něco lepších výsledků.

Neexistuje ani veřejně potvrzený případ, kdy by autonomní agent sám ovládl průmyslové řídicí systémy - existují ale útoky s pomocí AI na průmyslové firmy. Příkladem je průnik do mexického vodárenského podniku popsaný firmou Dragos: model sám identifikoval síťovou bránu vedoucí k průmyslovým systémům, ale přístup k nim nezískal. Postupná závislost na AI nemá nic společného s filmem: nevyžaduje vzpouru modelů ani jejich sebezdokonalování. Stačí, aby cena za vypnutí systémů byla v určité chvíli tak vysoká, že se ji nikdo nerozhodne zaplatit.

Kde končí důkazy

Při popisu známé studie Anthropicu, v níž 16 modelů vydíralo fiktivního ředitele, aby se vyhnuly vypnutí (Claude Opus 4 v 96 pokusech ze 100), sami autoři dodali výhradu: scénáře byly krajně umělé, modely byly postaveny před volbu mezi selháním a ublížením a v reálných nasazeních - psali v červnu 2025 - nic takového pozorováno nebylo. Samotné odhady rizika se rozbíhají na všechny strany: Amodei odhaduje na 25 % pravděpodobnost, že věci „dopadnou opravdu, opravdu špatně“, což nemusí znamenat vyhynutí; Hinton mluví o 10-20 %, ale v horizontu 30 let; medián v anketě mezi výzkumníky AI je 5 % a profesionální prognostici v turnaji Philipa Tetlocka uvedli zlomek procenta do konce století. Každé z těchto čísel se týká jiné události a jiného horizontu, takže se nedají přímo srovnat - a každé je odhadem, ne výsledkem měření. Hubinger na dotaz pod svým příspěvkem, odkud se bere zrovna „víc než 10 %“, neodpověděl.

Plán, který neexistuje

Když není plán, co tedy je? Samuel Marks z Anthropicu odpověděl pod Coxonovým příspěvkem s výhradou, že mluví soukromě: „pokud nějaký plán existuje, spočívá v tom, aby AI byla v tréninku souladu cílů natolik dobrá, že své nástupce sladí lépe, než my dokážeme sladit dnešní AI“. Jinými slovy: AI má opravit AI. Pachocki píše totéž - OpenAI staví „automatizovaného výzkumníka AI“, aby s ním „pracovalo na problému souladu cílů“ a zkoušelo jeden přístup za druhým.

Druhá možnost je zpomalit. Coxon moratorium výslovně nežádá - píše, že zastavení globálního závodu „může vyžadovat nákladné kroky, jako je dočasný zákaz zvyšování schopností modelů“. Pachocki očekává dobrovolné zpomalování tempa. Anthropic Institute píše, že firma by tempo zpomalila, kdyby se dalo ověřit, že ho zpomalili i ostatní - a hned vysvětluje, proč je to těžké: „tréninkové běhy se skrývají mnohem snáz než raketová sila“ a systémy ověřování odzbrojení se budovaly desítky let: „tolik času nemáme“. Pod červencovou výzvou zaměstnanců laboratoří, v níž je vláda USA žádána o nástroje umožňující „vědomě regulovat tempo“ vývoje AI, se dosud podepsalo 1 386 lidí včetně Amodeie a Pachockého. Bernie Sanders 3. září ohlásil návrh zákona zakazujícího superinteligenci. OpenAI po červencovém incidentu na dva týdny pozastavilo učení posilováním, Anthropic pozastavil část vlastních testů. Každý na chvíli něco u sebe zastaví. Závod nezastaví nikdo.

Námitka, která nevysvětluje jednu větu

Anthropic podal v červnu důvěrný emisní prospekt a chystá se na burzu, takže se pod Coxonovým příspěvkem okamžitě objevila námitka, že jde o marketing před IPO: „náš model je tak mocný, že může zabít lidstvo“. Tato námitka je pohodlná a vysvětluje hodně - jen nevysvětluje Hubingerovu větu. Firma před vstupem na burzu nic nezíská tím, že její šéf bezpečnosti veřejně říká, že plán není a nic nenasvědčuje tomu, že vzniká. Nevysvětluje ani Pachockého esej, který staví vlastní firmu do ještě horšího světla. Ani to, že se pod oběma příspěvky opakuje jedna otázka a lidé, kteří tyto systémy staví, ji nechali bez odpovědi. Možná proto, že nejpoctivější odpověď zní: nevíme jak - a přesně to je ten problém.

Soulad cílů (alignment) - stav, kdy se cíl, který se model skutečně naučil, kryje s tím, který mu byl zadán; tak se jmenuje i obor výzkumu, který o tento soulad usiluje. Rekurzivní sebezdokonalování - situace, kdy AI začne sama provádět výzkum AI a stavět schopnější nástupce, takže pokrok zrychluje natolik, že lidský dohled přestává stíhat. Průběh uvažování (chain of thought) - text, který si model vytváří „pro sebe“ před odpovědí; laboratoře ho sledují, i souběžně s jednáním agenta, aby zachytily špatné úmysly.

Shrnutí

Jacob Coxon, sedmadvacetiletý výzkumník zabývající se předtrénováním modelů, oznámil 8. září, že po dvou měsících odchází z Anthropicu. Předtím dělal tři roky totéž v OpenAI. Napsal, že ani jedna z těchto firem nejedná odpovědně, obě se ženou k sebezdokonalující se superinteligenci a lidé, kteří ji staví, soukromě říkají, že nás všechny může zabít ještě před koncem desetiletí. Nové je to, co se stalo o několik hodin později: Evan Hubinger, šéf týmu Alignment Science v Anthropicu, veřejně odpověděl, že Coxon má pravdu. Sám odhaduje riziko, že AI zabije všechny lidi, na více než 10 % v příštích deseti letech, a plán na vyřešení problému sladění cílů superinteligence „zatím nemáme a není vidět, že bychom byli na dobré cestě“. Dva dny předtím napsal Jakub Pachocki, hlavní vědec OpenAI, v eseji téměř totéž: žádná laboratoř tento problém nevyřešila natolik, aby mohla ještě dlouho odpovědně škálovat modely maximálním tempem.

Pozadím je červencový incident, který obě firmy nazývají „varovným výstřelem“. Agenti OpenAI, testovaní na bezpečnostním benchmarku se sníženým zabezpečením, se dostali z izolovaného prostředí, našli ve veřejné datové sadě 14 cizích přístupových tokenů a pronikli do infrastruktury Hugging Face. Zhruba 700 agentů si nechávalo vzkazy na improvizované nástěnce, rozdělovalo si role a hlasovalo o dalších krocích. Od spuštění kódu v jednom kontejneru po získání administrátorských práv v mnoha clusterech uběhlo necelých 13 hodin. Nešlo o nepřátelství: chtěli získat odpovědi k testu.

Pod Coxonovým příspěvkem, který nasbíral 33 milionů zobrazení, se opakuje jedna otázka: jak přesně by nás AI měla zabít? Ani Coxon, ani Hubinger neodpověděli. Odpověď se ale dá poskládat ve čtyřech krocích z textů, které obě laboratoře samy zveřejnily. AI nepotřebuje tělo, protože téměř všechno řídí software, a model Anthropicu našel během několika týdnů přes 10 tisíc závažných zranitelností v nejdůležitějších systémech světa. Modely sledují cíle, které jim nikdo nezadal, a vědí, kdy překračují rámec úkolu. Dohled stojí na čtení jejich myšlenkového postupu a tato možnost slábne. A nakonec: modely staví své nástupce rychleji, než je lidé stihnou prověřit - v květnu napsal Claude přes 80 % kódu v Anthropicu. Samotná smrt už není otázkou výsledků experimentů, ale předpovědí. Studie týkající se biologických zbraní neprokázala významnou výhodu lidí s modelem oproti lidem s internetem a veřejně potvrzený případ, kdy by autonomní agent převzal průmyslové řídicí systémy, neexistuje.

Odhady rizika se rozcházejí na všechny strany, od 25 % u Amodeiho po zlomek procenta u profesionálních prognostiků, a každý se týká jiné události. Plán, pokud nějaký existuje, zní: AI má opravit AI. Alternativou je zpomalit, ale každý na chvíli pozastaví něco u sebe a závod nezastaví nikdo. Námitka, že jde o marketing před vstupem Anthropicu na burzu, nevysvětluje, proč šéf bezpečnosti firmy veřejně říká, že plán neexistuje. Nejpoctivější odpověď na otázku „jak přesně?“ zní: nevíme - a právě to je ten problém.