Anthropic und OpenAI verpflichten sich zu dauerhaften externen Sicherheitsprüfern

Amodei und Altman kündigen dauerhafte externe Prüfer an

Dario Amodei, CEO von Anthropic, hat am 12. September 2026 einen Essay mit dem Titel „We Must Pace the Frontier“ veröffentlicht. Darin fordert er eine bewusste Verlangsamung des KI-Fortschritts. „We must slow the pace at which we improve the capabilities of AI models“, schreibt Amodei. Er betont, dass der Fortschritt weiterhin schnell erscheinen werde und die gewonnene Zeit klug genutzt werden müsse. Verlangsamung bedeute nicht, das Training von Modellen oder den technischen Fortschritt zu stoppen, sondern sicherzustellen, dass Unternehmen ausreichend Zeit für die Ausrichtung und Absicherung ihrer Modelle aufwenden und dies von dritten Prüfern bestätigen lassen. Amodei begründet seine Forderung mit zwei Entwicklungen: Seit etwa dem Sommer 2026 schreite die KI-Fähigkeit drastisch schneller voran, vor allem durch rekursive Selbstverbesserung, also die wachsende Fähigkeit von KI, die nächste KI-Generation zu bauen. Dieser Prozess beginne in der gesamten Branche, auch bei Anthropic. Als zweiten Auslöser nennt er den Vorfall zwischen OpenAI und Hugging Face. Auf seinem X-Konto kündigte Amodei an, dass Anthropic sich einseitig verpflichtet, dritten Evaluatoren permanenten, mitarbeiterähnlichen Zugang zu seinen Systemen zu gewähren. Noch am selben Tag stimmte Sam Altman, CEO von OpenAI, öffentlich zu. In einem Post auf X schrieb Altman: „Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon.“ Er erklärte, er stimme Amodei zu, und das Thema Pacing sei in den vergangenen Wochen ein zentraler Diskussionspunkt bei OpenAI gewesen. Damit haben sich erstmals zwei führende KI-Labore dauerhaft zu unabhängigen, mitarbeiterähnlichen Sicherheitsprüfern verpflichtet.

Was Embedded Evaluators dürfen und sollen

Die angekündigten Embedded Evaluators erhalten konkrete Zugriffsrechte, die weit über bisherige einmalige Audits hinausgehen. Nach den Angaben von Anthropic bekommen die externen Prüfer Schreibtische in den Büros des Unternehmens, Zugangsausweise und Firmen-Laptops. Ihre Berechtigungen für Arbeitsbereiche und Werkzeuge entsprechen weitgehend denen interner Risikobewertungsteams, mit engen Ausnahmen aus rechtlichen oder vertraglichen Gründen. Der Begriff „embedded“ ist dabei wörtlich zu verstehen: Er lehnt sich an die Praxis von Bankenregulierern an, bei denen ein Aufseher dauerhaft in der überwachten Institution sitzt, statt nur zu geplanten Besuchen zu erscheinen. Die Aufgaben der Evaluatoren umfassen die Überprüfung, ob ein Unternehmen seine zugesagten Sicherheitspraktiken einhält, die Meldung von Vorfällen sowie die Bewertung der Modell-Ausrichtung während des Trainings. Anders als bei einem Red-Team, das ein fertiges Modell einmalig vor der Veröffentlichung testet, sollen die Prüfer kontinuierlich Einblick in Trainingspipelines, interne Werkzeuge und das Personal erhalten. Die redaktionelle Unabhängigkeit ist Teil des Konzepts: Die Evaluatoren sollen ihre Ergebnisse ohne Zensur durch das Unternehmen veröffentlichen können, wobei Schwärzungen nur bei rechtlich privilegierten oder sicherheitssensiblen Informationen zulässig sind. Damit verlagert sich die Sicherheitsprüfung von einer Selbstbewertung des Labors zu einer dauerhaften Fremdkontrolle im laufenden Betrieb.

Stimmen aus der Fachwelt: Zustimmung und offene Fragen

Die Ankündigung hat in der Fachwelt rasch Unterstützung gefunden. Elon Musk, Gründer von xAI, schloss sich der Initiative öffentlich an. Sriram Krishnan, ehemaliger Partner bei Andreessen Horowitz, plädierte für ein verteiltes Netzwerk von Auditoren, um die Überwachungskapazität zu maximieren. Die Stanford Natural Language Processing Group positionierte sich als möglicher institutioneller Evaluator und argumentierte, dass akademische Umgebungen die nötige Distanz für eine unabhängige Prüfung böten. Als Beispiel für eine spezialisierte Sicherheitsevaluierungsorganisation nennt Amodeis Essay METR. Die Zustimmung zeigt, dass der Vorschlag über die beiden Labore hinaus als struktureller Wandel wahrgenommen wird. Gleichzeitig bleiben Fragen offen. Die Formulierung, dass die Berechtigungen „weitgehend“ denen interner Teams entsprechen, lässt Raum für Interpretationen, wie weit der Zugang tatsächlich reicht. Auch die Auswahl der Evaluatoren ist nicht festgelegt: Wer entscheidet, welche Organisationen als Prüfer zugelassen werden, und wie wird deren Unabhängigkeit dauerhaft gesichert? Die Durchsetzbarkeit der Berichtspflichten ist ebenfalls ungeklärt. Die Ankündigung enthält keine Angaben dazu, welche Konsequenzen ein Unternehmen zu erwarten hat, wenn Evaluatoren Verstöße melden. Zwar ist die redaktionelle Unabhängigkeit der Prüfer Teil des Konzepts, doch die praktische Umsetzung – etwa der Umgang mit rechtlichen oder vertraglichen Ausnahmen – bleibt im Material unbelegt. Fachleute begrüßen den Schritt als Abkehr von der bisherigen Praxis, bei der ein Labor seine eigene Arbeit benotet, weisen aber darauf hin, dass die Wirksamkeit des Modells erst in der Praxis belegt werden muss.

Warum jetzt? Regulatorischer Druck und Haftungsrisiken als Treiber

Die Selbstverpflichtung kommt nicht aus dem luftleeren Raum. In jüngster Zeit hat der regulatorische Druck auf KI-Anbieter zugenommen. Ein britischer Menschenrechtsausschuss hat ein eigenes KI-Gesetz gefordert. Parallel dazu haben Gerichte begonnen, KI-Anbieter bei Fehlern direkt haftbar zu machen, statt die Verantwortung allein bei den Nutzern zu verorten. Diese beiden Entwicklungen verändern das Risikokalkül der Labore grundlegend. Wenn Anbieter für Schäden durch ihre Modelle unmittelbar haften, steigt der Anreiz, Sicherheitsversprechen nicht nur zu behaupten, sondern durch unabhängige Dritte belegen zu lassen. Ein dauerhaft eingebetteter Prüfer, der Vorfälle meldet und die Einhaltung von Sicherheitszusagen kontrolliert, kann im Haftungsfall als Nachweis dienen, dass das Unternehmen seiner Sorgfaltspflicht nachgekommen ist. Zugleich signalisiert die Selbstverpflichtung gegenüber Regulierungsbehörden, dass die Branche bereit ist, eigene Kontrollmechanismen zu etablieren, bevor gesetzliche Vorgaben dies erzwingen. Amodeis Essay nennt diese regulatorischen Entwicklungen nicht explizit als Auslöser, doch die zeitliche Nähe zu den Forderungen nach einem eigenen KI-Gesetz und den Gerichtsentscheidungen zur Anbieterhaftung legt nahe, dass der wachsende Druck von außen die Bereitschaft der Labore erhöht hat, freiwillige, aber strukturell verbindliche Kontrollen zu akzeptieren. Die Ankündigung ist damit auch eine Antwort auf die Frage, wie die Branche mit steigenden Compliance- und Haftungsanforderungen umgehen will.

Ein struktureller Wandel mit offenen Enden

Die Ankündigung markiert einen Übergang von einmaligen Audits und Red-Teamings zu einer dauerhaften, eingebetteten Überwachung. Bisher beruhten die meisten Sicherheitsaussagen von KI-Unternehmen auf Selbstauskünften: Modellkarten, Red-Team-Zusammenfassungen und selbst durchgeführte Evaluierungen. Mit den Embedded Evaluators verpflichten sich Anthropic und OpenAI erstmals, externe Prüfer mit mitarbeiterähnlichem Zugang in den laufenden Betrieb zu integrieren. Das ist ein struktureller Wandel in der KI-Governance, weil die Kontrolle nicht mehr punktuell vor der Veröffentlichung eines Modells stattfindet, sondern kontinuierlich während Training, Einsatz und Betrieb. Viele Details bleiben jedoch offen. Wie die Evaluatoren ausgewählt werden, welche Qualifikationen sie benötigen und wie ihre Finanzierung geregelt ist, geht aus dem vorliegenden Material nicht hervor. Auch die Frage, ob kleinere Unternehmen dem Beispiel folgen können oder ob der Aufwand nur für große Labore tragbar ist, ist unbeantwortet. Die tatsächliche Durchsetzung der Berichtspflichten und der Umgang mit den genannten rechtlichen und vertraglichen Ausnahmen müssen sich in der Praxis erst beweisen. Die Ankündigung ist ein bedeutender Schritt, aber ihre Wirksamkeit hängt davon ab, ob die angekündigten Zugriffsrechte tatsächlich gewährt und die Ergebnisse der Prüfer ernst genommen werden.