Amodei chce spomaliť vývoj AI - Altman, Musk a Nadella súhlasia, Trump a Biely dom nie

Tri roky písali najhlasnejšie výzvy na spomalenie AI ľudia zvonka. List Future of Life z marca 2023 podpísal Musk, ale nie šéfovia OpenAI ani Anthropicu. V sobotu 12. septembra takú výzvu napísal šéf najvyššie oceňovanej firmy v oblasti AI na svete a do pondelka mu odpovedal každý, kto niečo znamená. Minulý týždeň sme písali o výskumníkovi, ktorý odišiel z Anthropicu a varoval, aj o šéfovi tímu bezpečnosti, ktorý mu dal za pravdu. Teraz dal výskumníkovi za pravdu aj šéf firmy.

Esej „We Must Pace the Frontier“ má necelé 4 000 slov a príspevok na X, ktorým ju Amodei ohlásil, mal do pondelka 72 miliónov zobrazení. Plán má tri kroky: externí kontrolóri vo vnútri každej firmy, spoločné štandardy firiem z demokratických krajín a pokus dohodnúť sa s Čínou. Anthropic sa jednostranne zaväzuje len k prvému. Tím zvonka (Amodei ako príklad uvádza METR) dostane stoly v sídle firmy, vstupné karty, firemné notebooky a prístup „mostly comparable to what internal risk assessment teams have“ (do veľkej miery porovnateľný s tým, aký majú interné tímy hodnotenia rizika). K tomu právo zverejniť zistenia bez redakčnej kontroly firmy. Bez dátumu, bez mena kontrolóra, bez počtu ľudí. Amodei upozorňuje, že „pacing does not mean halting model training or technical progress“. Najkonkrétnejšie varovanie v texte: Amodei sa obáva, že o 6 až 12 mesiacov by roj agentov mohol premeniť celý internet na trvalý botnet a spôsobiť škody v stovkách miliárd dolárov.

Rivali hovoria áno

Sam Altman odpísal o dve a pol hodiny neskôr: „I agree with Dario that we need to pace the frontier. [...] Committing to having independent evaluators with employee-like access is a great idea, and we will do the same“ (16 miliónov zobrazení). Elon Musk hodinu po eseji: „Dario is right“ (12 miliónov). Demis Hassabis z Google DeepMind: smer je správny, detaily treba doladiť. V nedeľu večer Satya Nadella napísal, že „if the AI we build is not helping humanity and under human control, it's not worth pursuing“. Ohlásil aj kódex správania pre vlastné modely Microsoftu, ktorý v pondelok zamieril do šesťtýždňovej verejnej konzultácie. Pred tromi rokmi Musk podpísal jeden list o bezpečnosti AI a Altman s Hassabisom druhý. Nikdy nepodpísali ten istý. Tentoraz povedali to isté v priebehu 30 hodín.

Biely dom hovorí nie

A tu sa zhoda končí. Donald Trump, ktorého sa v nedeľu pýtali novinári v jeho golfovom rezorte v Doonbegu v Írsku, reagoval: „We're leading China in AI, we're the most sophisticated country in the world, and frankly, I want to keep it that way because whoever wins AI, wins. And we can put guardrails, we can do this and that. But I think you have a lot of negative forces that are bringing it up that shouldn't be bringing it up.“ V pondelok na Truth Social dodal, že jediné zabezpečenie, aké AI potrebuje, je „a STRONG AND SMART (High IQ!) PRESIDENT“, a že proti AI a dátovým centrám sa kuje „SICK conspiracy“, z ktorej má radosť jedine Čína. Predseda Snemovne reprezentantov Mike Johnson v CNN: Kongres sa nebude ponáhľať s mimoriadnou reguláciou, lebo „we will lose the race to China“, a za bezpečnosť svojich produktov majú niesť zodpovednosť firmy.

Najzaujímavejšiu odpoveď dal David Sacks, do marca poradca Bieleho domu pre AI a kryptomeny, dnes spolupredseda prezidentskej rady pre vedu a technológie, v príspevku s 9 miliónmi zobrazení: „go ahead. You guys are the frontier. [...] The easiest way not to build superintelligence is for you to agree not to build it. Demanding your preferred regulatory framework as the price of that will look like blackmail of the public and the political system. So just do it.“ A ďalej: prestaňte predstierať, že treba pozastaviť antimonopolné právo, aby ste mohli založiť kartel, aj to, že METR je nezávislý, keď je prepojený s investormi a ľuďmi z Anthropicu. Altman odpovedal v pondelok nadránom bez toho, aby ho menoval: OpenAI „does not believe we need to wait for an anti-trust exemption or legislation“ a „when we talk about ‚pacing‘, we do not mean ‚stopping‘“.

Vývojári vidia niečo iné

V diskusii o eseji na Hacker News pribudlo vyše tisíc komentárov a slovné spojenie „regulatory capture“ sa v nej spomína 29-krát. Najvyššie hodnotený komentár sa začína otázkou: „At what point do we stop engaging with Anthropic's leadership in good faith and acknowledge their track record?“ Yann LeCun (1,6 milióna zobrazení): „Dario was already claiming that GPT2 was too dangerous to open source back in 2019. I made fun of them then. Everyone should make fun of them now.“ Najviac posmechu zbiera predpoveď o botnete o 6 až 12 mesiacov: „This is the only concrete prediction in the entire essay. And it simply cannot happen.“ Satirický príspevok s názvom „Everyone should slow down AI development except for me“ získal na Hacker News takmer 800 bodov, viac ako samotná esej.

K tomu všetkému sa pridáva jedno číslo z toho istého víkendu. Podľa denníka Financial Times, ako ho cituje agentúra Reuters, Anthropic oznámil investorom, že druhý kvartál po sebe uzavrie s kladným upraveným prevádzkovým výsledkom a že hrubá marža presahuje 80 %. Je to číslo pred delením tržieb s partnermi, ako je Amazon, a pred nákladmi na trénovanie modelov. Firma, ktorá žiada odvetvie, aby spomalilo, sa pripravuje na vstup na burzu. Trh si to prečítal po svojom: v pondelok SoftBank klesla o viac ako 10 %, SK Hynix o viac ako 6 %, Micron o viac ako 4 %, kým firmy z oblasti kybernetickej bezpečnosti rástli, CrowdStrike o viac ako desať percent.

Čína odpovedala v pondelok ústami hovorcu ministerstva zahraničných vecí: „Fear-mongering, confrontation and vicious competition will only hamper efforts toward sound global AI governance, which serves no one's interest.“ Amodei v CBS priznal, že dohoda s Pekingom je najťažšou časťou plánu: „I don't know if it's possible, but we should try.“ V eseji napokon stanovil podmienku: firmy z demokratických krajín môžu spomaliť nanajvýš o toľko, koľko predstavuje ich náskok pred Čínou. Helen Tonerová z Georgetownu uvádza odhady šesť až deväť mesiacov.

Čo z toho vyplýva pre niekoho, kto na Slovensku vyvíja produkty na modeloch Claude alebo GPT? V samotných modeloch zatiaľ nič. Žiadna firma neoznámila, že zastavuje tréning alebo uvádzanie noviniek, a Altman zdôrazňuje, že pokrok „should be slower than it otherwise could be“, nie že sa zastaví. Mení sa to, kto smie nazrieť dovnútra: doteraz si správy o bezpečnosti písali firmy samy, teraz dve z nich sľúbili pustiť kontrolórov zvonka a Anthropic im navyše dal právo zistenia zverejniť. Pre slovenské tímy je podstatný ešte jeden rozdiel: celý tento spor sa vedie o dobrovoľné záväzky amerických firiem, kým povinnosti, ktoré platia tu, vyplývajú z európskeho AI Actu, a na tých esej nemení nič - o ich podobe a harmonograme rozhoduje Európska komisia v Bruseli, nie príspevok na X zo San Francisca. Sacks má pravdu v jednom: nikto im nezakazuje spomaliť už dnes. O rok bude vidieť, či niekto naozaj dal nohu z plynu.

Frontier - špička, najpokročilejšie modely AI v danej chvíli a firmy, ktoré ich vyvíjajú. Regulatory capture - stav, keď sa regulátor podriadi záujmom odvetvia, ktoré má dozorovať. METR - nezávislá nezisková organizácia z Berkeley, ktorá testuje, či modely AI dokážu niečo nebezpečné.