Anthropic odhaluje zneužití Clauda - biologické zbraně, rakety a odposlech 25 milionů SIM karet

Technologické firmy málokdy vyprávějí, co se pokazilo. Ve čtvrtek 10. září zveřejnil Anthropic rozsáhlou zprávu o tom, k čemu se lidé posledních osm měsíců pokoušeli Clauda využít. Do včerejška měl příspěvek firmy na síti X 36 milionů zobrazení a David Agranovich, který v Metě osm let vedl tým pro potírání takových operací, napsal: „Přerušuji svou pauzu na X, protože tohle je fascinující (...). Je pozoruhodné, že Anthropic je takto otevřený“ (angl. „Breaking my X hiatus because this is fascinating (...). It's noteworthy that Anthropic is being this transparent“).

Zpráva pokrývá období od prosince 2025 do srpna 2026 a sedm oblastí: kybernetické operace, operace vlivu, sledování, konvenční zbraně, biologii, podvody a nelegální destilaci modelů. Nejsilnější případ je z Mali. Nezávislý konzultant z Bamaka, který pravděpodobně pracoval na vlastní pěst, postavil pro tamní zpravodajskou službu (ANSE) systém „Lakana 360“, jenž monitoruje přibližně 25 milionů SIM karet u všech tří mobilních operátorů v zemi. Systém nahrává hovory, SMS a hlasový provoz, rozpozná člověka po hlasu i po výměně SIM karty, označuje uživatele VPN a data spojuje s národním biometrickým registrem. Na žádost provozovatele systému byl z komponenty, která vytváří zpravodajskou zprávu o libovolném telefonním čísle, odstraněn požadavek soudního příkazu.

A tady začíná to nejzajímavější. Anthropic účet zablokoval, ve zprávě ale píše zcela otevřeně: „Kroky proti účtu nemají vliv na nasazený produkt“ (angl. „Account enforcement actions do not affect the deployed product“). Hotový systém běží na místních serverech a na místních modelech. Claude byl jen inženýrský tým, který napsal kód.

Druhý případ je buňka v severním Jemenu, která vede tři zbrojní programy: řízenou raketu s palubní řídicí jednotkou postavenou z běžných součástek ze smartphonu, balistickou střelu s deklarovaným cílovým dosahem nad 2 000 km a rodinu „R2000“ včetně varianty hypersonického klouzavého prostředku. Řídicí software psali v Claude Code, místo aby najali inženýry, a spouštěli několik instancí zároveň s rozdělenými rolemi: jedna psala kód, druhá hledala informace, třetí recenzovala. Část jejich dotazů ochranné mechanismy zablokovaly, proto práci rozdělili do mnoha sezení, aby žádné neprozradilo celý obraz. Provedli polní test rakety. Zdá se, že se nepovedl - a během několika hodin byli zpátky u Clauda a zjišťovali proč.

Biologická část popisuje pět případů a v každém se vrací týž problém: výzkum dvojího užití vypadá nevinně, dokud ho nezasadíte do kontextu. V květnu klasifikátor zablokoval pomoc s žádostí o grant na gain-of-function výzkum viru chikungunya, zaměřený na zvýšení nakažlivosti a únik před imunitou. Žádost podávali civilní vědci, práce se ale měly odehrát ve vojenském výzkumném institutu. Platforma, přes kterou dotazy šly, tunelovala provoz skrz americkou infrastrukturu a její provozovatel po zablokování získal přístup zpět během několika dní a přidal mechanismus, který odmítnuté dotazy přeposílal modelu konkurence. Jacob Klein, který v Anthropicu vede tým analýzy hrozeb, to řekl takto: „Nevidíte někoho, kdo by jako v komiksu řekl: ‚Hele, chci postavit biologickou zbraň.‘“ (angl. „You are not seeing someone in a comic book kind of way say, 'Hey, I want to build a biological weapon.'“).

Někdy ochranné mechanismy fungují způsobem, který se do titulků nedostane. Badatel pracující na přizpůsobení ptačí chřipky H5 savcům si s Claudem během několika týdnů vyměnil tisíce zpráv - klasifikátory ho ale stlačily na nejslabší modely firmy, Sonnet 4 a Haiku 4.5. Anthropic odhaduje, že badatel dostal hlavně administrativní pomoc s návrhem studie a analýzou dat. V jiném případě napsal Opus 5 od nuly a asi za hodinu celou žádost o grant na ortopoxviry: hypotézu, plán experimentu, dávkování a statistiku. Prošlo to, protože výzkum oslabování viru nevypadá nebezpečně.

Samostatná kapitola se věnuje sedmi čínským laboratořím, které z Clauda tahaly způsob uvažování. Největší operaci vedla Alibaba: 151 milionů dotazů od května do července, ve špičce téměř 3 miliony denně z více než 3 500 podvodných účtů, a získané záznamy šly na trénink modelů Qwen. Moonshot za deset dní přesměroval Claudovi asi 300 000 dotazů vlastních zákazníků a Claudovy odpovědi jim zobrazoval, jako by byly od Kimi; od května do července nasbíral celkem přes 23 milionů dotazů. DeepSeek dělal totéž a za čtrnáct dní v červenci mu bylo připsáno 12,1 milionu dotazů. Uživatelé o tom neměli tušení a v přesměrovaných konverzacích se objevily finanční prognózy farmaceutické firmy, funkční přístupové klíče, záběry z několika set kamer v Čcheng-tu a přihlašovací údaje k databázi vládní agentury spojené s ruským ministerstvem obrany.

Tuto zprávu se vyplatí číst s určitou rezervou a sám Agranovich to říká: „Anthropic upozorňuje, že část čísel o dopadu některých operací pochází z metrik samotných útočníků. Viděli jsme tam hodně nadsazování“ (angl. „Anthropic notes that some of the impact numbers for some of the ops come from the attacker's own metrics. We've seen a lot of inflation there“). Část komentujících na Hacker News firmě vytkla dvojí standard: Anthropic jmenuje čínské firmy a uvádí země, z nichž zbrojní buňky operovaly, u badatelů z oblasti biologie ale instituce a státy zamlčuje, protože „netvrdíme, že měli v úmyslu škodit“ (angl. „we do not assert that they intended harm“). Den před vydáním zprávy odmítlo čínské ministerstvo obchodu dřívější obvinění amerických agentur jako politizaci obyčejné techniky a přislíbilo odpověď, pokud Washington zakročí proti čínským firmám.

Jedno platí bez ohledu na to, komu věříte. Poskytovatel modelu nám dal další, mnohem podrobnější seznam konkrétních použití s čísly místo spekulací o tom, co by AI mohla jednou umožnit. V biologické části Anthropic píše, že žádná firma, ani z oboru AI, ani mimo něj, dosud veřejně nezveřejnila doklady o takovém využití vlastní platformy. Klienti Kimi byli přesvědčeni, že mluví s Kimi. Inženýr čínské firmy tam vložil interní kód a funkční klíče a všechno šlo ke Claudovi a bylo uloženo k tréninku. A nejpraktičtější závěr zní takto: pokud používáte levný model přes prostředníka, nemusíte vědět, čí model vaše data opravdu čte. Přesměrované konverzace šly přes routery modelů používané v USA i v Evropě, takže se to týká i uživatelů v Česku.

Destilace - trénování menšího modelu na odpovědích většího, aby za zlomek ceny přebral jeho schopnosti. Je to standardní tréninková metoda; „nelegální destilací“ nazývá Anthropic průmyslové sbírání cizích odpovědí bez souhlasu a v rozporu s podmínkami přístupu. Gain-of-function - výzkum, v němž se organismus záměrně mění tak, aby získal novou nebo silnější vlastnost, například vyšší nakažlivost. Klasifikátor - samostatný model hlídající, zda dotaz neporušuje pravidla; odpověď zablokuje ještě předtím, než se dostane k uživateli.