Amodei will das KI-Tempo drosseln - Altman, Musk und Nadella dafür, Trump dagegen

Drei Jahre lang kamen die lautesten Appelle, die KI-Entwicklung zu verlangsamen, von außen. Den Brief des Future of Life Institute vom März 2023 unterschrieb Musk, aber weder der Chef von OpenAI noch der von Anthropic. Am Samstag, dem 12. September, kam ein solcher Appell vom CEO des höchstbewerteten KI-Unternehmens der Welt, und bis Montag hatte ihm jeder geantwortet, der in der Branche zählt. Vergangene Woche haben wir über den Forscher geschrieben, der Anthropic mit einer Warnung verließ, und über den Leiter des Sicherheitsteams, der ihm recht gab. Jetzt gibt auch der CEO dem Forscher recht.

Der Essay „We Must Pace the Frontier“ umfasst knapp 4.000 Wörter, und der Beitrag auf X, mit dem Amodei ihn ankündigte, wurde bis Montag 72 Millionen Mal aufgerufen. Der Plan hat drei Schritte: externe Prüfer in jedem Unternehmen, gemeinsame Standards der Firmen aus demokratischen Ländern und der Versuch, sich mit China zu verständigen. Einseitig verpflichtet sich Anthropic nur zum ersten. Ein Team von außen (Amodei nennt METR als Beispiel) bekommt Schreibtische in der Firmenzentrale, Zutrittsausweise, Firmenlaptops und einen Zugang „mostly comparable to what internal risk assessment teams have“, also weitgehend vergleichbar mit dem der internen Risikoteams. Dazu das Recht, die Ergebnisse ohne redaktionelle Kontrolle des Unternehmens zu veröffentlichen. Kein Datum, kein Name des Prüfers, keine Angaben zur Teamgröße. Amodei schränkt ein: „pacing does not mean halting model training or technical progress.“ Die konkreteste Warnung im Text: Amodei befürchtet, dass in 6 bis 12 Monaten ein Schwarm von Agenten das gesamte Internet in ein dauerhaftes Botnetz verwandeln und Schäden in Höhe von Hunderten Milliarden Dollar anrichten könnte.

Die Konkurrenten sagen Ja

Sam Altman antwortete zweieinhalb Stunden später: „I agree with Dario that we need to pace the frontier. [...] Committing to having independent evaluators with employee-like access is a great idea, and we will do the same“ (16 Millionen Aufrufe). Elon Musk eine Stunde nach dem Essay: „Dario is right“ (12 Millionen). Demis Hassabis von Google DeepMind: Die Richtung stimme, die Details müssten nachgebessert werden. Am Sonntagabend schrieb Satya Nadella: „if the AI we build is not helping humanity and under human control, it's not worth pursuing.“ Er kündigte außerdem einen Verhaltenskodex für die eigenen Modelle von Microsoft an, der am Montag in eine sechswöchige öffentliche Konsultation ging. Vor drei Jahren unterschrieb Musk den einen Brief zur KI-Sicherheit, Altman und Hassabis den anderen. Denselben haben sie nie unterschrieben. Diesmal sagten sie innerhalb von 30 Stunden dasselbe.

Das Weiße Haus sagt Nein

Und da endet die Einigkeit. Donald Trump, am Sonntag von Reportern in seinem Golfresort in Doonbeg in Irland gefragt: „We're leading China in AI, we're the most sophisticated country in the world, and frankly, I want to keep it that way because whoever wins AI, wins. And we can put guardrails, we can do this and that. But I think you have a lot of negative forces that are bringing it up that shouldn't be bringing it up.“ Am Montag ergänzte er auf Truth Social, die einzige Leitplanke, die KI brauche, sei „a STRONG AND SMART (High IQ!) PRESIDENT“, und gegen KI und Rechenzentren laufe eine „SICK conspiracy“, über die sich nur China freue. Mike Johnson, Sprecher des Repräsentantenhauses, bei CNN: Der Kongress werde eine Notfallregulierung nicht überstürzen, weil „we will lose the race to China“, und die Verantwortung für die Sicherheit ihrer Produkte müssten die Unternehmen selbst tragen.

Die interessanteste Antwort kam von David Sacks, bis März Beauftragter des Weißen Hauses für KI und Kryptowährungen, heute Co-Vorsitzender des Beraterrats des Präsidenten für Wissenschaft und Technologie, in einem Beitrag mit 9 Millionen Aufrufen: „go ahead. You guys are the frontier. [...] The easiest way not to build superintelligence is for you to agree not to build it. Demanding your preferred regulatory framework as the price of that will look like blackmail of the public and the political system. So just do it.“ Und weiter: Hört auf, so zu tun, als müsse das Kartellrecht ausgesetzt werden, damit ihr ein Kartell bilden könnt, und als sei METR unabhängig, wo es doch mit den Investoren und den Leuten von Anthropic verflochten ist. Altman antwortete am frühen Montag, ohne ihn beim Namen zu nennen: OpenAI sehe keinen Grund zu warten - „we do not believe we need to wait for an anti-trust exemption or legislation“ - und „when we talk about 'pacing', we do not mean 'stopping'.“ Was in Washington als Frage des Kartellrechts verhandelt wird, liegt in Europa anders: Über abgestimmtes Verhalten der größten Anbieter entscheiden hier das europäische Wettbewerbsrecht und der DMA, der den größten Plattformen vorgibt, wie sie ihre Dienste verknüpfen dürfen. Eine Selbstverpflichtung der Frontier-Anbieter hebelt das nicht aus.

Entwickler sehen etwas anderes

In der Diskussion über den Essay auf Hacker News kamen mehr als tausend Kommentare zusammen, und der Begriff „regulatory capture“ fällt darin 29 Mal. Der höchstbewertete Kommentar beginnt mit einer Frage: „At what point do we stop engaging with Anthropic's leadership in good faith and acknowledge their track record?“ Yann LeCun (1,6 Millionen Aufrufe): „Dario was already claiming that GPT2 was too dangerous to open source back in 2019. I made fun of them then. Everyone should make fun of them now.“ Den meisten Spott erntet die Prognose vom Botnetz in 6 bis 12 Monaten: „This is the only concrete prediction in the entire essay. And it simply cannot happen.“ Ein satirischer Beitrag mit dem Titel „Everyone should slow down AI development except for me“ sammelte auf Hacker News fast 800 Punkte, mehr als der Essay selbst.

Dazu kommt eine Zahl vom selben Wochenende. Laut „Financial Times“, zitiert von Reuters, teilte Anthropic den Investoren mit, dass man das zweite Quartal in Folge mit einem positiven bereinigten Betriebsergebnis abschließen werde und die Bruttomarge über 80%. Diese Zahl versteht sich vor der Erlösteilung mit Partnern wie Amazon und vor Abzug der Trainingskosten für die Modelle. Das Unternehmen, das die Branche um ein langsameres Tempo bittet, bereitet den Börsengang vor. Der Markt interpretierte das auf seine Weise: Am Montag fiel SoftBank um mehr als 10%, SK Hynix um mehr als 6%, Micron um mehr als 4%, während die Cybersecurity-Firmen zulegten, CrowdStrike zweistellig.

China antwortete am Montag durch einen Sprecher des Außenministeriums: „Fear-mongering, confrontation and vicious competition will only hamper efforts toward sound global AI governance, which serves no one's interest.“ Amodei räumte bei CBS ein, dass die Verständigung mit Peking der schwierigste Punkt des Plans sei: „I don't know if it's possible, but we should try.“ Im Essay stellte er ohnehin eine Bedingung: Firmen aus demokratischen Ländern dürfen höchstens so weit verlangsamen, wie ihr Vorsprung vor China reicht. Helen Toner von der Georgetown University verweist auf Schätzungen von sechs bis neun Monaten.

Was heißt das für ein Unternehmen in Deutschland, das seine Produkte auf Basis von Claude- oder GPT-Modellen entwickelt? Bei den Modellen ändert sich vorerst nichts. Keine Firma hat angekündigt, das Training oder die Markteinführungen zu stoppen, und Altman betont, der Fortschritt „should be slower than it otherwise could be“ - nicht, dass er aufhöre. Was sich ändert, ist, wer hineinschauen darf: Bisher schrieben die Unternehmen ihre Sicherheitsberichte selbst, jetzt haben zwei von ihnen versprochen, Externe hereinzulassen, und Anthropic räumt ihnen zusätzlich das Recht auf Veröffentlichung ein. Für Kunden in der EU ist das ein Vorgriff auf etwas, das hier bereits im Gesetz steht: Der EU AI Act verlangt von Anbietern universeller Modelle mit systemischem Risiko Evaluierungen, Risikominderung und die Meldung schwerwiegender Vorfälle. Freiwillige Zusagen aus San Francisco ersetzen das nicht, sie zeigen nur, wie viel Einblick die Anbieter von sich aus zu geben bereit sind. Sacks hat in einem Punkt recht: Niemand hindert sie daran, schon heute langsamer zu werden. In einem Jahr wird man sehen, ob tatsächlich jemand den Fuß vom Gas genommen hat.

Frontier - die Spitze, die jeweils fortschrittlichsten KI-Modelle und die Firmen, die sie bauen. Regulatory capture - wenn die Regeln am Ende so geschrieben werden, wie sie den größten Anbietern einer Branche passen. METR - eine unabhängige Non-Profit-Organisation aus Berkeley, die KI-Modelle daraufhin testet, ob sie etwas Gefährliches können.