Anthropic legt Missbrauch von Claude offen - Biowaffen, Raketen, 25 Millionen SIM-Karten

Technologieunternehmen erzählen selten, was schiefgelaufen ist. Am Donnerstag, dem 10. September, hat Anthropic einen umfangreichen Bericht darüber veröffentlicht, wofür Menschen Claude in den vergangenen acht Monaten zu nutzen versuchten. Bis gestern wurde der Beitrag des Unternehmens auf X 36 Millionen Mal aufgerufen, und David Agranovich, der acht Jahre lang bei Meta das Team zur Abwehr solcher Operationen leitete, schrieb: „Ich unterbreche meine X-Pause, weil das faszinierend ist (...). Bemerkenswert ist, dass Anthropic so transparent ist.“ (engl. „Breaking my X hiatus because this is fascinating (...). It's noteworthy that Anthropic is being this transparent.“)

Der Bericht umfasst den Zeitraum von Dezember 2025 bis August 2026 und sieben Bereiche: Cyberoperationen, Einflussoperationen, Überwachung, konventionelle Waffen, Biologie, Betrug und Illicit distillation. Der stärkste Fall kommt aus Mali. Ein unabhängiger Berater aus Bamako, der wahrscheinlich auf eigene Rechnung arbeitete, baute für den dortigen Geheimdienst (ANSE) die Plattform „Lakana 360“, die rund 25 Millionen SIM-Karten bei allen drei Mobilfunkbetreibern des Landes überwacht. Das System zeichnet Gespräche, SMS und Sprachverkehr auf, erkennt Menschen an der Stimme auch nach einem Kartenwechsel, markiert VPN-Nutzer und verknüpft die Daten mit dem nationalen biometrischen Register. Auf Wunsch des Betreibers wurde aus der Komponente, die eine Geheimdienstnotiz zu einer beliebigen Telefonnummer erstellt, die Pflicht eines richterlichen Beschlusses entfernt.

Und hier beginnt das Interessante. Anthropic hat das Konto gesperrt, schreibt im Bericht aber unmissverständlich: „Maßnahmen gegen ein Konto wirken sich nicht auf das ausgelieferte Produkt aus.“ (engl. „Account enforcement actions do not affect the deployed product.“) Das fertige System läuft auf lokalen Servern, mit lokalen Modellen. Claude war nur das Ingenieurteam, das den Code geschrieben hat.

Der zweite Fall ist eine Zelle im Norden Jemens, die drei Waffenprogramme betreibt: eine gelenkte Rakete mit einer Bordsteuerung aus gewöhnlichen Smartphone-Bauteilen, eine ballistische Rakete mit einer angestrebten Reichweite von über 2.000 km und die Familie „R2000“ samt einer Variante als hypersonic glide vehicle. Die Steuerungssoftware schrieben sie in Claude Code, statt Ingenieure einzustellen, und ließen mehrere Instanzen gleichzeitig mit verteilten Rollen laufen: eine schrieb Code, eine zweite recherchierte, eine dritte prüfte. Die Schutzmechanismen blockierten einen Teil der Anfragen, also zerlegten sie die Arbeit in viele Sitzungen, damit keine einzelne das Gesamtbild verriet. Sie führten einen Feldtest der Rakete durch. Offenbar ging er schief - und innerhalb weniger Stunden waren sie mit Claude wieder dabei, die Ursache zu klären.

Im Biologieteil sind fünf Fälle beschrieben, und in jedem kehrt dasselbe Problem zurück: Forschung mit doppeltem Verwendungszweck sieht harmlos aus, solange man sie nicht in den Kontext stellt. Im Mai blockierte ein Klassifikator die Hilfe bei einem Förderantrag für gain-of-function-Forschung am Chikungunya-Virus, die auf höhere Übertragbarkeit und das Entkommen vor der Immunantwort ausgerichtet war. Den Antrag stellten zivile Wissenschaftler, die Arbeiten sollten aber an einem militärischen Forschungsinstitut stattfinden. Die Plattform, über die die Anfragen liefen, tunnelte den Verkehr durch US-Infrastruktur, und ihr Betreiber hatte nach der Sperrung binnen weniger Tage wieder Zugang und baute einen Mechanismus ein, der abgelehnte Anfragen an das Modell eines Konkurrenten weiterleitete. Jacob Klein, der bei Anthropic die Bedrohungsanalyse leitet, formulierte es so: „Da sagt niemand wie in einem Comic: Hey, ich will eine Biowaffe bauen.“ (engl. „You are not seeing someone in a comic book kind of way say, 'Hey, I want to build a biological weapon.'“)

Manchmal wirken die Schutzmechanismen auf eine Weise, die in Schlagzeilen nicht zu sehen ist. Ein Forscher, der an der Anpassung der Vogelgrippe H5 an Säugetiere arbeitete, wechselte über mehrere Wochen Tausende Nachrichten mit Claude - Klassifikatoren schoben ihn jedoch auf die schwächsten Modelle des Unternehmens ab, Sonnet 4 und Haiku 4.5. Anthropic schätzt, dass der Forscher vor allem Sekretariatshilfe bei Studienplanung und Datenanalyse erhielt. In einem anderen Fall schrieb Opus 5 in etwa einer Stunde einen kompletten Förderantrag zu Orthopockenviren von Null an: Hypothese, Versuchsplan, Dosierung und Statistik. Er ging durch, weil Forschung zur Abschwächung eines Virus nicht gefährlich aussieht.

Ein eigenes Kapitel behandelt sieben chinesische Labore, die Claude die Denkweise abschöpften. Die größte Operation betrieb Alibaba: 151 Millionen Anfragen von Mai bis Juli, in der Spitze fast 3 Millionen pro Tag, aus mehr als 3.500 betrügerischen Konten, und die gewonnenen Mitschriften flossen in das Training der Qwen-Modelle. Moonshot leitete über zehn Tage rund 300.000 Anfragen eigener Kunden an Claude weiter und zeigte ihnen die Antworten von Claude als Antworten von Kimi; insgesamt sammelte es von Mai bis Juli mehr als 23 Millionen Anfragen. DeepSeek machte dasselbe, und für vierzehn Tage im Juli wurden ihm 12,1 Millionen Anfragen zugerechnet. Die Nutzer wussten nichts davon, und in den umgeleiteten Gesprächen fanden sich Finanzprognosen eines Pharmaunternehmens, funktionierende Zugangsschlüssel, Aufnahmen von mehreren Hundert Kameras in Chengdu und Zugangsdaten zur Datenbank einer Regierungsbehörde mit Verbindung zum russischen Verteidigungsministerium.

Man sollte diesen Bericht mit einem gewissen Vorbehalt lesen, und Agranovich selbst legt das nahe: „Anthropic weist darauf hin, dass ein Teil der Zahlen zur Wirkung einzelner Operationen von den Angreifern selbst stammt. Da haben wir schon viel Aufblähung gesehen.“ (engl. „Anthropic notes that some of the impact numbers for some of the ops come from the attacker's own metrics. We've seen a lot of inflation there.“) Ein Teil der Kommentierenden auf Hacker News warf dem Unternehmen einen doppelten Standard vor: Anthropic nennt chinesische Firmen beim Namen und benennt die Länder, aus denen die Waffenzellen operierten, verschweigt bei den Biologieforschern aber Institutionen und Staaten, weil „wir nicht behaupten, dass sie Schaden beabsichtigten“ (engl. „we do not assert that they intended harm“). Einen Tag vor der Veröffentlichung des Berichts wies das chinesische Handelsministerium frühere Vorwürfe US-amerikanischer Behörden als Politisierung einer gewöhnlichen Technik zurück und kündigte eine Reaktion an, falls Washington gegen chinesische Unternehmen vorgeht.

Eines bleibt, ganz gleich, wem man glaubt. Ein Modellanbieter hat uns eine weitere, viel ausführlichere Liste konkreter Verwendungen mit Zahlen vorgelegt, statt Spekulationen darüber, was KI eines Tages möglich machen könnte. Im Biologieteil schreibt Anthropic, dass bisher kein Unternehmen, weder aus der KI-Branche noch außerhalb, öffentlich Belege für eine solche Nutzung der eigenen Plattform vorgelegt hat. Kimi-Kunden waren sicher, dass sie mit Kimi sprechen. Ein Ingenieur eines chinesischen Unternehmens fügte dort internen Code und funktionierende Schlüssel ein, und alles ging an Claude und wurde fürs Training gespeichert. Und der praktischste Schluss lautet: Wer ein günstiges Modell über einen Zwischenanbieter nutzt, weiß möglicherweise nicht, wessen Modell seine Daten wirklich liest. Für Leserinnen und Leser in Deutschland gilt das genauso - die umgeleiteten Gespräche liefen laut Bericht über Modell-Router, die in den USA und in Europa im Einsatz sind.

Distillation - das Training eines kleineren Modells auf den Antworten eines größeren, damit es dessen Fähigkeiten für einen Bruchteil des Preises übernimmt. Das ist eine gängige Trainingsmethode; als „Illicit distillation“ bezeichnet Anthropic das Abschöpfen fremder Antworten im industriellen Maßstab, ohne Erlaubnis und gegen die Zugangsbedingungen. Gain-of-function - Forschung, bei der ein Organismus absichtlich verändert wird, damit er eine neue oder stärkere Eigenschaft erhält, zum Beispiel höhere Übertragbarkeit. Klassifikator - ein eigenes Modell, das prüft, ob eine Anfrage die Regeln bricht; es blockiert die Antwort, bevor sie den Nutzer erreicht.