Amodei chce zpomalit vývoj AI - Altman, Musk a Nadella souhlasí, Trump a Bílý dům ne

Tři roky psali nejhlasitější výzvy ke zpomalení AI lidé zvenčí. Dopis Future of Life z března 2023 podepsal Musk, ale ne šéfové OpenAI ani Anthropicu. V sobotu 12. září takovou výzvu napsal šéf nejvýše oceněné AI firmy na světě a do pondělí mu odpověděl každý, kdo něco znamená. Minulý týden jsme psali o výzkumníkovi, který z Anthropicu odešel s varováním, a o šéfovi tamního bezpečnostního týmu, který mu dal za pravdu. Teď totéž říká i generální ředitel.

Esej „We Must Pace the Frontier“ má necelé čtyři tisíce slov a příspěvek na X, kterým ji Amodei ohlásil, měl do pondělí 72 milionů zhlédnutí. Plán má tři kroky: externí kontroloři uvnitř každé firmy, společné standardy firem z demokratických zemí a pokus domluvit se s Čínou. Anthropic se jednostranně zavazuje jen k tomu prvnímu. Tým zvenčí (Amodei uvádí jako příklad METR) dostane stoly v sídle firmy, přístupové karty, firemní notebooky a přístup „mostly comparable to what internal risk assessment teams have“ (zhruba srovnatelný s tím, jaký mají interní týmy pro hodnocení rizik). K tomu právo zveřejnit svá zjištění bez redakční kontroly ze strany firmy. Bez data, bez jména kontrolora, bez počtu lidí. Amodei upozorňuje, že „pacing does not mean halting model training or technical progress“. Nejkonkrétnější varování v textu: Amodei se obává, že za 6 až 12 měsíců může roj agentů proměnit celý internet v trvalý botnet a napáchat škody v řádu stovek miliard dolarů.

Soupeři říkají ano

Sam Altman odpověděl po dvou a půl hodinách: „I agree with Dario that we need to pace the frontier. [...] Committing to having independent evaluators with employee-like access is a great idea, and we will do the same“ (16 milionů zhlédnutí). Elon Musk hodinu po eseji: „Dario is right“ (12 milionů). Demis Hassabis z Google DeepMind: směr je správný, detaily je potřeba doladit. V neděli večer napsal Satya Nadella: „if the AI we build is not helping humanity and under human control, it's not worth pursuing“. Oznámil také kodex chování pro vlastní modely Microsoftu, který v pondělí zamířil do šestitýdenní veřejné konzultace. Před třemi lety podepsal Musk jeden dopis o bezpečnosti AI a Altman s Hassabisem druhý. Nikdy nepodepsali tentýž. Tentokrát řekli totéž během třiceti hodin.

Bílý dům říká ne

A tady shoda končí. Donald Trump na dotaz novinářů v neděli ve svém golfovém resortu v Doonbegu v Irsku: „We're leading China in AI, we're the most sophisticated country in the world, and frankly, I want to keep it that way because whoever wins AI, wins. And we can put guardrails, we can do this and that. But I think you have a lot of negative forces that are bringing it up that shouldn't be bringing it up.“ V pondělí na Truth Social dodal, že jediné mantinely, které AI potřebuje, je „a STRONG AND SMART (High IQ!) PRESIDENT“, a že proti AI a datovým centrům se vede „SICK conspiracy“, ze které má radost jedině Čína. Předseda Sněmovny reprezentantů Mike Johnson na CNN: Kongres se do mimořádné regulace hnát nebude, protože „we will lose the race to China“, a odpovědnost za bezpečnost svých produktů musí nést firmy.

Nejzajímavější odpověď přišla od Davida Sackse, do března poradce Bílého domu pro AI a kryptoměny a dnes spolupředsedy prezidentské rady poradců pro vědu a technologie, v příspěvku s 9 miliony zhlédnutí: „go ahead. You guys are the frontier. [...] The easiest way not to build superintelligence is for you to agree not to build it. Demanding your preferred regulatory framework as the price of that will look like blackmail of the public and the political system. So just do it.“ A dál: přestaňte předstírat, že se kvůli vám musí pozastavit antimonopolní právo, abyste mohli založit kartel, a že METR je nezávislý, když je propojený s investory a lidmi Anthropicu. Altman odpověděl v pondělí nad ránem, aniž by ho jmenoval: OpenAI „does not believe we need to wait for an anti-trust exemption or legislation“ a „when we talk about ‚pacing‘, we do not mean ‚stopping‘“.

Vývojáři vidí něco jiného

Diskuse o eseji na Hacker News přilákala přes tisíc komentářů a fráze „regulatory capture“ v ní padla devětadvacetkrát. Nejlépe hodnocený komentář začíná otázkou: „At what point do we stop engaging with Anthropic's leadership in good faith and acknowledge their track record?“ Yann LeCun (1,6 milionu zhlédnutí): „Dario was already claiming that GPT2 was too dangerous to open source back in 2019. I made fun of them then. Everyone should make fun of them now.“ Nejvíc posměchu sklízí předpověď o botnetu za 6 až 12 měsíců: „This is the only concrete prediction in the entire essay. And it simply cannot happen.“ Satirický příspěvek s titulkem „Everyone should slow down AI development except for me“ nasbíral na Hacker News bezmála 800 bodů, víc než samotná esej.

K tomu všemu přistupuje jedno číslo z téhož víkendu. Podle listu Financial Times, na který se odvolává Reuters, sdělil Anthropic investorům, že druhé čtvrtletí po sobě uzavře s kladným upraveným provozním výsledkem a že hrubá marže přesahuje 80 %. Je to číslo před podílem na tržbách pro partnery, jako je Amazon, a před náklady na trénování modelů. Firma, která vyzývá celý obor ke zpomalení, se chystá na burzu. Trh si to přebral po svém: v pondělí SoftBank spadla o víc než 10 %, SK Hynix o víc než 6 %, Micron o víc než 4 %, zatímco firmy z oblasti kyberbezpečnosti šly nahoru, CrowdStrike dokonce o víc než deset procent.

Čína odpověděla v pondělí ústy mluvčího ministerstva zahraničí: „Fear-mongering, confrontation and vicious competition will only hamper efforts toward sound global AI governance, which serves no one's interest.“ Amodei v CBS přiznal, že domluva s Pekingem je nejtěžší část plánu: „I don't know if it's possible, but we should try.“ V eseji si ostatně stanovil podmínku: firmy z demokratických zemí mohou zpomalit nanejvýš o tolik, kolik činí jejich náskok před Čínou. Helen Toner z Georgetownu uvádí odhady šest až devět měsíců.

Co z toho plyne pro někoho, kdo v Česku staví produkty na modelech Claude nebo GPT? V samotných modelech zatím nic. Žádná firma neoznámila, že zastavuje trénování nebo uvádění novinek, a Altman zdůrazňuje, že pokrok „should be slower than it otherwise could be“, ne že se zastaví. Mění se to, kdo smí nahlédnout dovnitř: dosud si firmy psaly bezpečnostní zprávy samy, teď dvě z nich slíbily pustit k sobě lidi zvenčí a Anthropic jim navíc dal právo zjištění zveřejnit. Na tom, co české firmy čeká podle evropského AI Actu, to nic nemění - povinnosti z nařízení platí bez ohledu na to, co si obor slíbí sám mezi sebou, a dobrovolný příslib vpustit kontrolory do kanceláří v Kalifornii je něco jiného než pravidla, která si v Bruselu prosadila Komise. Sacks má pravdu v jednom: nikdo jim nebrání zpomalit už dnes. Za rok bude vidět, jestli někdo opravdu sundal nohu z plynu.

Frontier - špička, nejpokročilejší modely AI v daném okamžiku a firmy, které je staví. Regulatory capture - podřízení regulátora zájmům oboru, který má dozorovat. METR - nezávislá nezisková organizace z Berkeley, která testuje, zda modely AI nemají nebezpečné schopnosti.