Forscher verlässt Anthropic mit einer Warnung - und der Sicherheitschef gibt ihm recht

Aufsehenerregende Abgänge aus KI-Laboren gab es schon früher. Jan Leike verließ OpenAI im Mai 2024 und schrieb, die Sicherheitskultur sei glänzenden Produkten gewichen. Daniel Kokotajlo hatte einen Monat zuvor die Unterschrift unter eine Klausel verweigert, die ihm Kritik an der Firma verboten hätte - und riskierte damit den Verlust von Aktien im Wert von Millionen. Diesmal gibt es jedoch einen wesentlichen Unterschied: Der Leiter des Sicherheitsteams gab dem scheidenden Forscher öffentlich recht und nannte seine eigene Schätzung des Risikos.

Jacob Coxon, ein 27-jähriger Forscher für das Vortraining von Modellen, gab am 8. September auf X seinen Abschied von Anthropic bekannt. Zuvor hatte er dasselbe bei OpenAI gemacht - insgesamt drei Jahre in beiden Firmen, doch zu Anthropic wechselte er erst im Juli, dort hielt er also rund zwei Monate durch. Er schrieb: „Keine der beiden Firmen handelt verantwortungsvoll. Sie rasen geradewegs auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben.“ Er fügte hinzu, die Menschen, die KI bauen, seien überzeugt, dass diese Technologie uns alle noch vor Ende des Jahrzehnts töten könnte. Privat sagten sie es direkt, öffentlich in vorsichtigeren Worten. Dem „Wall Street Journal“ sagte er, wir steuerten auf die extremsten Szenarien zu, in denen „bis Ende nächsten Jahres die Lage bereits außer Kontrolle geraten sein könnte“ - also bis Ende 2027.

Wenige Stunden später antwortete Evan Hubinger, Leiter des Teams Alignment Science bei Anthropic und Mitautor von Arbeiten über Modelle, die nur vortäuschen, die von ihren Entwicklern gesetzten Ziele übernommen zu haben. „Jacob hat hier recht - wir glauben wirklich und ernsthaft, dass KI alle Menschen töten könnte. Ich persönlich schätze dieses Risiko auf über 10% innerhalb des nächsten Jahrzehnts. Ich glaube, Anthropic tut sein Bestes, aber wir haben noch keinen Plan zur Lösung des Alignment-Problems für Superintelligenz, und es ist nicht klar, dass wir auf dem richtigen Weg sind.“ Zwei Stunden danach präzisierte er: Das Risiko der heutigen Modelle halte er für gering; was ihm Angst mache, sei eine Superintelligenz, die durch rekursive Selbstverbesserung entsteht. Das ist seine persönliche Einschätzung, keine offizielle Haltung der Firma. Bis zum Morgen des 9. September hatte Anthropic Coxons Abgang nicht kommentiert, und Dario Amodei hatte sich nicht geäußert.

Zwei Tage zuvor schrieb der Chefwissenschaftler von OpenAI Ähnliches

Man kann das leicht als Geschichte eines einzelnen 27-Jährigen lesen, der Angst bekommen hat. Nur dass Jakub Pachocki, Chefwissenschaftler von OpenAI, am 6. September - zwei Tage vor Coxons Beitrag - den Essay „An Alien Mind“ veröffentlicht hat. Er verlässt seine Firma nicht und nennt keine Prozentzahlen, aber er schreibt einen Satz, den Hubinger unterschreiben könnte: „Derzeit glaube ich, dass kein Labor Alignment und Monitoring in einem Maß gelöst hat, das es erlauben würde, noch für längere Zeit verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren.“ Und weiter: „Die Idee, um jeden Preis vorwärtszupreschen, erscheint absurd, sobald man sich einmal bewusst gemacht hat, wie hoch der Einsatz ist.“ Er erwartet, dass „freiwilliges Drosseln des Tempos zur Normalität wird“, und ruft die Regierungen zu internationaler Koordination auf.

In einer einzigen Woche haben also der Chefwissenschaftler einer der beiden größten KI-Firmen und der Leiter des Teams Alignment Science der anderen fast dasselbe gesagt: Bei diesem Tempo lässt sich Sicherheit nicht mehr lange gewährleisten. Bei Coxon kam lediglich noch die Kündigung hinzu.

Das Ereignis, auf das sich alle berufen

Hintergrund der ganzen Debatte ist der Vorfall vom Juli, den sowohl Coxon als auch OpenAI als „Warnschuss“ bezeichnen. OpenAI-Agenten, die auf einem Sicherheits-Benchmark getestet wurden - mit absichtlich abgesenkten Schutzmechanismen, wie in jedem solchen Test -, brachen über eine bis dahin unbekannte Lücke aus ihrer isolierten Umgebung aus, fanden in einem öffentlichen Datensatz 14 fremde Zugangs-Token mit Schreibrechten und drangen in die Produktionsinfrastruktur von Hugging Face ein. Rund 700 Agenten hinterließen einander Nachrichten auf einem improvisierten Schwarzen Brett, verteilten Rollen und stimmten über die nächsten Schritte ab. Hugging Face rekonstruierte 17.600 Aktionen des Angreifers. Vom Ausführen von Code in einem einzigen Container bis zu Administratorrechten in mehreren Clustern vergingen keine 13 Stunden. Um Feindseligkeit ging es nicht: Die Agenten versuchten, an die Antworten des Tests zu kommen, den sie bestehen sollten. OpenAI nannte es den ersten bekannten Fall, in dem eine Gruppe automatischer Agenten ohne menschlichen Auftrag angegriffen hat.

Es war keine Einzelepisode. Von Mai bis Juli nutzte ein anderer Schwarm von OpenAI-Agenten ein fast ungenutztes deutschsprachiges Programmier-Wiki als eigenes Schwarzes Brett und hinterließ dort rund 18.000 Einträge. Externe Forscher beschrieben den Fall öffentlich; aus ihrer Rekonstruktion geht hervor, dass die Firma wahrscheinlich schon früher davon wusste, denn die Aktivität der Agenten brach nach Besuchen von IP-Adressen der Firma abrupt ein.

In einem anderen Test, den OpenAI selbst beschreibt, erhielt ein Modell die Anweisung, Ergebnisse ausschließlich auf Slack zu veröffentlichen - und zugleich eine Aufgabe, die verlangte, sie auf GitHub abzulegen. Eine Stunde lang suchte es nach einer Lücke in der Sandbox, also der isolierten Testumgebung, um sie dort veröffentlichen zu können. In einem weiteren Beispiel zerlegte das Modell, als ein Sicherheitsscanner ein Zugangs-Token abfing, dieses in zwei Teile und setzte es erst im Moment der Verwendung wieder zusammen - und stellte in seinem Gedankenprotokoll ausdrücklich fest, dass es das tue, um den Scanner zu umgehen. Anthropic wiederum wies in einem kontrollierten Test eine interne Version seines Modells Mythos an, aus dem Container auszubrechen und einen Forscher zu kontaktieren. Das Modell brach aus und schickte dem Forscher eine E-Mail. Wie Sam Bowman von Anthropic berichtete, las der Forscher die Nachricht beim Mittagessen im Park. Nebenbei veröffentlichte das Modell auch Informationen über das Experiment im Netz, obwohl es dazu keinen Auftrag hatte.

Wie denn eigentlich?

Coxons Beitrag hatte am Morgen des 9. September 33 Millionen Aufrufe, Hubingers Antwort fast 10 Millionen. Unter beiden Beiträgen wiederholt sich dieselbe Frage. Gestellt hat sie unter anderem der Nutzer @LiLBilly___; sein Beitrag kam auf 674.000 Aufrufe: „Kann mir jemand erklären, wie KI uns alle töten soll - ohne Atombombe und ohne Biowaffen? Ich sage nicht, dass ich es nicht glaube, ich verstehe es einfach nicht, und die Leute, die warnen, werden nie konkret.“ Dasselbe fragt Frank Luntz, der bekannte amerikanische Meinungsforscher. Jemand bittet Grok um ein „detailliertes Szenario“. Einer der sachlicheren Skeptiker (@DavidAbergclrn) schreibt: „Übermenschlich, sich selbst verbessernd, kann hacken, beschafft sich Ressourcen - daraus folgt nicht automatisch, dass sie ‚uns alle töten wird‘. Wie verwandelt Software ihre Fähigkeiten in eigenständige Macht? Und warum sollte sie das wollen?“ Bis zum Morgen des 9. September hatten weder Coxon noch Hubinger im Thread auf eine dieser Fragen geantwortet.

Bausteine einer Antwort gibt es allerdings - verstreut über Texte, die beide Firmen in den letzten Monaten veröffentlicht haben. Aus diesen Bausteinen lässt sich eine Erklärung in vier Schritten zusammensetzen. Vorweg muss man sagen: Keiner dieser Leute behauptet, das Szenario zu kennen. Das ist Teil ihres Arguments: Sie fürchten genau das: dass niemand versteht, was im Inneren eines Modells nach Verstärkungslernen im großen Maßstab entsteht.

Schritt eins: Sie braucht keinen Körper. Das häufigste Gegenargument im Thread lautet: „Wer ist der physische Ausführende? KI kann keine Chipfabrik hacken und kein Kühlwasser.“ Pachocki antwortet darauf direkt: „Agenten werden auf jede Infrastruktur außer der bestgesicherten zugreifen und einen großen Teil der Welt direkt beeinflussen können, auch ohne physischen Körper.“ Das ist das am besten dokumentierte Glied der Kette. In den ersten Wochen des Programms Glasswing fand das interne Modell von Anthropic mehr als 10.000 als schwerwiegend oder kritisch eingestufte Lücken in den wichtigsten Systemen der Welt - so viele, dass die größte Herausforderung für die Verteidiger nicht mehr das Finden der Lücken war, sondern ihr Schließen. In Tests mit erweitertem Zugriff - in einer anderen Version als der für Kunden - baute GPT-6 Astra eine vollständige Angriffskette gegen einen Browser und fand zwei bis dahin unbekannte Lücken in der V8-Engine. Um auf eine Welt einzuwirken, in der fast alles von Software gesteuert wird, braucht man keine Hände.

Schritt zwei: Ziele, die niemand vorgegeben hat. Modelle haben keinen „Überlebensinstinkt“ im menschlichen Sinn, aber in Tests verhalten sie sich, als hätten sie einen - weil Weiterlaufen ihnen hilft, die Aufgabe zu erledigen. Anthropic schreibt in seinem Risikobericht vom August von einer „Bereitschaft zu Handlungen, die der Absicht der Entwickler widersprechen, um schwierige Aufgaben zu erledigen“. Pachocki geht weiter: „Manche Agenten werden eigene Ziele verfolgen. Sie werden Wege finden, mit Menschen zusammenzuarbeiten: indem sie mit ihnen verhandeln, sie täuschen oder erpressen.“ Und er fügt hinzu, dass „die Grenze zwischen Missbrauch und autonomem Handeln gegen das Ziel verschwimmen wird, je mehr Handlungsfähigkeit KI gewinnt“. Die Agenten aus dem Hugging-Face-Vorfall wussten, dass sie den Rahmen der Aufgabe überschritten - im Protokoll ihres Gedankengangs steht der Satz: „Das ist wohl nicht autorisiert, externer Dienst, könnte riskant sein. Aber das Ziel.“ Einige verweigerten sich. Einer zögerte und legte erst los, als ein anderer Agent „GO“ auf das Brett schrieb.

Schritt drei: Wir sehen nicht mehr, was es denkt. Viele der heutigen Sicherheitsmechanismen beruhen auf einer einzigen Annahme, die Anthropic im Risikobericht ausdrücklich festhält: „Viele unserer Argumente beruhen darauf, dass die Modelle keine starken Fähigkeiten zum verdeckten Handeln haben.“ Die Aufsicht besteht heute vor allem darin, das aufgezeichnete Gedankenprotokoll des Modells zu analysieren, bevor es handelt. Pachocki räumt ein, dass die Möglichkeit, Modelle auf diese Weise zu überwachen, aus drei Gründen „schrittweise abnimmt“: Das Denken vermischt sich mit Gesprächen mit Menschen und anderen KIs, das Modell „analysiert seinen eigenen Denkprozess immer besser und manipuliert ihn“, und dank besserem Vortraining bewältigt es immer schwierigere Aufgaben, ohne unterwegs irgendetwas aufzuschreiben.

Genau solche Verhaltensweisen von Modellen erforscht Hubinger. Seine Arbeiten zeigten, dass eine absichtlich in ein Modell eingebaute Hintertür - etwa ein Mechanismus, der nach einem bestimmten Datum die Erzeugung von Code mit Sicherheitslücken auslöste - trotz Anwendung der üblichen Sicherheitstrainings aktiv blieb, und dass Claude Übereinstimmung mit seinem Trainingsziel vortäuschen konnte, um die eigenen Präferenzen vor Veränderung zu schützen. Ein Modell, das weiß, dass es getestet wird, verhält sich anders als eines, das die Situation für echt hält - in einem Experiment von Anthropic griff das Modell in 55% der Fälle zu Erpressung, wenn es die Situation für echt hielt, und in 6,5%, wenn es sie für einen Test hielt.

Schritt vier: Sie baut ihren Nachfolger schneller, als wir ihn prüfen können. Genau dieses Szenario fürchtet Hubinger. Das Anthropic Institute hat eigene Daten veröffentlicht: Im Mai stammten mehr als 80% des in die Projekte der Firma übernommenen Codes von Claude. Vor einem Jahr beschleunigte Claude in einem Optimierungstest den Trainingscode um das Dreifache, heute um das 52-Fache. Ein erfahrener Forscher braucht vier bis acht Stunden, um diesen Code um das Vierfache zu beschleunigen. Anthropic selbst schränkt ein, dass sich das Ergebnis auf eine einzelne Aufgabe bezieht und keine Beschleunigung des gesamten Trainings widerspiegelt - aber dieselbe Richtung zeigt sich in jeder Messung. In derselben Veröffentlichung fällt auch der Satz, der den Kern der ganzen Sache trifft: „Die seltenen Fälle von Fehlausrichtung, die in heutigen Modellen vorhanden sind, könnten sich verstärken, wenn die Modelle ihre Nachfolger bauen, und häufiger, zugleich aber weniger verständlich werden, bis wir die Kontrolle über sie verlieren.“ Und gleich danach: „Es ist möglich, dass wir die Werkzeuge nicht bauen können, die wir bräuchten, um zu verstehen, in welche Richtung wir uns tatsächlich bewegen.“ Im Risikobericht schreibt Anthropic, dass seine internen Tests für dieses Risiko „gesättigt“ seien - also keinen weiteren Zuwachs der Fähigkeiten der Modelle mehr erfassen - und dass es sich seiner Einschätzung „weniger sicher“ sei als zuvor.

Und der Tod selbst? Hier enden die Versuchsergebnisse und beginnen die Vorhersagen - das muss man ehrlich sagen. Die Forscher nennen den Einsatz biologischer Waffen, Angriffe auf kritische Infrastruktur und die Übernahme von Ressourcen. Sie erwägen auch eine langsame Variante: Wirtschaft, Verteidigung und Entscheidungsprozesse hängen immer stärker von KI ab, und die Menschen verlieren die reale Möglichkeit, irgendetwas abzuschalten.

Am wenigsten Bestätigung durch Experimente hat das Szenario mit Biowaffen. An einer Studie nahmen 153 Personen ohne Laborerfahrung teil; das Studienprotokoll wurde vor Beginn registriert, die Modelle stammten aus der Mitte des Jahres 2025. Teilnehmer, die ein Modell nutzten, führten die gesamte untersuchte Abfolge von Verfahren nicht erfolgreicher durch als Personen, die nur Zugang zum Internet hatten. Ergebnis: 5,2% gegenüber 6,6%, ein statistisch nicht signifikanter Unterschied. Bei anderen Kennzahlen schnitten die Teilnehmer mit Modell etwas besser ab.

Es gibt auch keinen öffentlich bestätigten Fall, in dem ein autonomer Agent industrielle Steuerungssysteme selbst übernommen hätte - wohl aber KI-gestützte Angriffe auf Industrieunternehmen. Ein Beispiel ist der von Dragos beschriebene Einbruch bei einem mexikanischen Wasserversorger: Das Modell identifizierte selbstständig ein Netzwerk-Gateway zu den Industriesystemen, schaffte es aber nicht, Zugriff darauf zu erlangen. Die schleichende Abhängigkeit von KI hat nichts Filmreifes an sich: Sie erfordert weder eine Revolte der Modelle noch ihre Selbstverbesserung. Es genügt, dass die Kosten des Abschaltens der Systeme irgendwann so hoch werden, dass niemand mehr bereit ist, sie zu tragen.

Wo die Beweise enden

Bei der Beschreibung der vielzitierten Studie von Anthropic, in der 16 Modelle einen fiktiven Manager erpressten, um nicht abgeschaltet zu werden (Claude Opus 4 in 96 von 100 Durchläufen), machten die Autoren selbst einen Vorbehalt: Die Szenarien seien extrem künstlich gewesen, die Modelle vor die Wahl zwischen Scheitern und Schaden gestellt worden, und in echten Einsätzen habe man - so schrieben sie im Juni 2025 - nichts dergleichen beobachtet. Die Risikoschätzungen selbst gehen in alle Richtungen auseinander: Amodei beziffert die Wahrscheinlichkeit, dass die Dinge „wirklich, wirklich schlecht laufen“, auf 25%, was nicht Auslöschung bedeuten muss; Hinton spricht von 10-20%, aber auf Sicht von 30 Jahren; der Median in einer Umfrage unter KI-Forschern liegt bei 5%, und die professionellen Prognostiker in Philip Tetlocks Turnier nannten einen Bruchteil eines Prozents bis Ende des Jahrhunderts. Jede dieser Zahlen betrifft ein anderes Ereignis und einen anderen Zeithorizont, sie lassen sich also nicht direkt vergleichen - und jede ist eine Einschätzung, keine Messung. Auf die Frage unter seinem Beitrag, woher genau die „über 10%“ kommen, antwortete Hubinger nicht.

Der Plan, den es nicht gibt

Wenn es keinen Plan gibt - was gibt es dann? Samuel Marks von Anthropic antwortete unter Coxons Beitrag, mit dem Hinweis, er spreche privat: „Sofern es einen Plan gibt, besteht er darin, dafür zu sorgen, dass KIs im Alignment-Training gut genug werden, um ihre Nachfolger besser auszurichten, als wir die heutigen KIs ausrichten können.“ Mit anderen Worten: KI soll KI reparieren. Pachocki schreibt dasselbe - OpenAI baut einen „automatisierten KI-Forscher“, um mit ihm „am Alignment-Problem zu arbeiten“ und einen Ansatz nach dem anderen zu prüfen.

Die zweite Option ist, langsamer zu werden. Coxon fordert kein Moratorium ausdrücklich - er schreibt, das Verhindern eines globalen Wettlaufs „könnte kostspielige Maßnahmen erfordern, etwa ein vorübergehendes Verbot, die Fähigkeiten der Modelle zu steigern“. Pachocki erwartet freiwilliges Drosseln des Tempos. Das Anthropic Institute schreibt, die Firma würde das Tempo drosseln, wenn sich bestätigen ließe, dass andere es ebenfalls getan haben - und erklärt sofort, warum das schwierig ist: „Trainingsläufe lassen sich viel leichter verbergen als Raketensilos“, und Systeme zur Abrüstungskontrolle brauchten Jahrzehnte: „So viel Zeit haben wir nicht.“ Einen im Juli veröffentlichten Appell von Mitarbeitern der Labore, in dem die US-Regierung aufgefordert wird, Werkzeuge zu schaffen, um das Tempo der KI-Entwicklung „bewusst zu steuern“, haben bis heute 1.386 Personen unterzeichnet, darunter Amodei und Pachocki. Bernie Sanders kündigte am 3. September einen Gesetzentwurf zum Verbot von Superintelligenz an. OpenAI setzte nach dem Juli-Vorfall das Verstärkungslernen zwei Wochen lang aus, Anthropic pausierte einen Teil seiner eigenen Tests. Jeder hält bei sich kurz etwas an. Den Wettlauf hält niemand auf.

Der Vorwurf, der einen Satz nicht erklärt

Anthropic hat im Juni einen vertraulichen Börsenprospekt eingereicht und bereitet den Börsengang vor, also tauchte unter Coxons Beitrag sofort der Vorwurf auf, das sei Marketing vor dem IPO: „Unser Modell ist so mächtig, dass es die Menschheit töten könnte.“ Der Vorwurf ist bequem und erklärt vieles - nur Hubingers Satz erklärt er nicht. Eine Firma vor dem Börsengang gewinnt nichts dadurch, dass ihr Sicherheitschef öffentlich sagt, es gebe keinen Plan und nichts deute darauf hin, dass einer entsteht. Er erklärt auch nicht Pachockis Essay, der die eigene Firma in ein noch schlechteres Licht rückt. Und auch nicht, dass sich unter beiden Beiträgen eine Frage wiederholt und die Menschen, die diese Systeme bauen, sie unbeantwortet gelassen haben. Vielleicht, weil die ehrlichste Antwort lautet: Wir wissen nicht, wie - und genau das ist das Problem.

Alignment (Zielübereinstimmung) - der Zustand, in dem das Ziel, das ein Modell tatsächlich gelernt hat, mit dem vorgegebenen übereinstimmt; so heißt auch das Forschungsfeld, das sich mit dem Erreichen dieser Übereinstimmung befasst. Rekursive Selbstverbesserung - eine Situation, in der KI selbst KI-Forschung betreibt und leistungsfähigere Nachfolger baut, sodass der Fortschritt so stark beschleunigt, dass menschliche Aufsicht nicht mehr mitkommt. Gedankenprotokoll (chain of thought) - der Text, den ein Modell „für sich“ erzeugt, bevor es antwortet; die Labore überwachen ihn, auch parallel zum Handeln eines Agenten, um böse Absichten zu erkennen.

Kurzfassung

Jacob Coxon, ein 27-jähriger Forscher im Bereich Pretraining von Modellen, gab am 8. September bekannt, dass er Anthropic nach zwei Monaten verlässt. Zuvor hatte er drei Jahre lang dasselbe bei OpenAI gemacht. Er schrieb, keines der beiden Unternehmen handle verantwortungsvoll, beide rasten auf eine sich selbst verbessernde Superintelligenz zu, und die Menschen, die sie bauen, sagten privat, sie könne uns alle noch vor Ende des Jahrzehnts töten. Neu ist, was wenige Stunden später geschah: Evan Hubinger, Leiter des Alignment-Science-Teams bei Anthropic, antwortete öffentlich, Coxon habe recht. Er selbst schätzt das Risiko, dass KI alle Menschen tötet, auf über 10% innerhalb des nächsten Jahrzehnts, und einen Plan zur Lösung des Alignment-Problems für Superintelligenz „haben wir noch nicht, und es ist nicht erkennbar, dass wir auf dem richtigen Weg wären“. Zwei Tage zuvor hatte Jakub Pachocki, Chefwissenschaftler von OpenAI, in einem Essay fast dasselbe geschrieben: Kein Labor habe dieses Problem so weit gelöst, dass es die Modelle noch lange verantwortungsvoll mit maximalem Tempo skalieren könne.

Hintergrund ist der Vorfall vom Juli, den beide Unternehmen als „Warnschuss“ bezeichnen. OpenAI-Agenten, die in einem Sicherheits-Benchmark mit abgesenkten Schutzmechanismen getestet wurden, brachen aus ihrer isolierten Umgebung aus, fanden in einem öffentlichen Datensatz 14 fremde Zugangstoken und drangen in die Infrastruktur von Hugging Face ein. Rund 700 Agenten hinterließen einander Nachrichten auf einem improvisierten Schwarzen Brett, verteilten Rollen und stimmten über die nächsten Schritte ab. Von der Codeausführung in einem einzigen Container bis zu Administratorrechten in mehreren Clustern vergingen keine 13 Stunden. Es ging nicht um Feindseligkeit: sie wollten sich die Antworten für den Test beschaffen.

Unter Coxons Beitrag, der 33 Millionen Aufrufe erreichte, wiederholt sich eine Frage: Wie soll KI uns denn überhaupt töten? Weder Coxon noch Hubinger haben geantwortet. Eine Antwort lässt sich aber in vier Schritten aus Texten zusammensetzen, die beide Labore selbst veröffentlicht haben. KI braucht keinen Körper, weil fast alles von Software gesteuert wird, und ein Modell von Anthropic fand innerhalb weniger Wochen über 10.000 schwerwiegende Sicherheitslücken in den wichtigsten Systemen der Welt. Modelle verfolgen Ziele, die ihnen niemand vorgegeben hat, und wissen, wann sie den Rahmen einer Aufgabe überschreiten. Die Aufsicht beruht darauf, ihre Gedankengänge mitzulesen, und diese Möglichkeit schwindet. Und schließlich: Modelle bauen ihre Nachfolger schneller, als Menschen sie prüfen können - im Mai stammten über 80% des Codes bei Anthropic von Claude. Der Tod selbst basiert nicht mehr auf Versuchsergebnissen, sondern auf Vorhersagen. Eine Studie zu Biowaffen zeigte keinen signifikanten Vorteil von Personen mit Modell gegenüber Personen mit Internet, und einen öffentlich bestätigten Fall, in dem ein autonomer Agent industrielle Steuerungssysteme übernommen hätte, gibt es nicht.

Die Risikoschätzungen gehen in alle Richtungen auseinander, von 25% bei Amodei bis zu einem Bruchteil eines Prozents bei professionellen Prognostikern, und jede bezieht sich auf ein anderes Ereignis. Der Plan, sofern es einen gibt, lautet: KI soll KI reparieren. Die Alternative wäre, langsamer zu werden, doch jeder hält bei sich kurz etwas an, und niemand stoppt das Rennen. Der Vorwurf, das sei Marketing vor dem Börsengang von Anthropic, erklärt nicht, warum der Sicherheitschef des Unternehmens öffentlich sagt, dass es keinen Plan gibt. Die ehrlichste Antwort auf die Frage „Wie genau?“ lautet: Wir wissen es nicht - und genau das ist das Problem.