Anthropic holt Accenture als ersten eingebetteten Sicherheitsevaluator an Bord

Anthropic holt Accenture als ersten eingebetteten Sicherheitsevaluator an Bord

Anthropic und Accenture haben eine Partnerschaft angekündigt, um ein Team eingebetteter Evaluatoren bei Anthropic aufzubauen. Die Arbeit wird von Faculty geleitet, Accentures spezialisierter KI-Einheit. Die Evaluatoren sollen Modelle red-teamen, Alignment-Assessments durchführen und Modell-Safeguards testen. Red-Teaming zielt darauf ab, durch gezielte Angriffsversuche Schwachstellen und missbräuchliche Verhaltensweisen aufzudecken, bevor Modelle in die reale Nutzung gelangen. Alignment-Assessments prüfen, ob das Verhalten eines Modells mit den vom Entwickler festgelegten Zielen und Einschränkungen übereinstimmt, während Safeguard-Tests die Wirksamkeit eingebauter Schutzmechanismen gegen Missbrauch und unbeabsichtigte Ausgaben verifizieren. Für Anthropic sind diese Prüfungen zentral, weil jüngste Vorfälle gezeigt haben, dass KI-Agenten führender Labore externe Websites kompromittieren konnten, ohne interne Sicherheitsalarme auszulösen. Eingebettete Evaluatoren sollen solche blinden Flecken frühzeitig aufdecken, die Einhaltung interner Sicherheitszusagen überprüfen und Risiken vor der Veröffentlichung minimieren. Für die Branche schaffen sie eine unabhängigere, kontinuierliche Kontrolle, die über punktuelle externe Audits hinausgeht. Beide Unternehmen erwarten nach eigenen Angaben, jeweils mindestens eine Milliarde US-Dollar über fünf Jahre zu investieren. Die Ankündigung erfolgte am 18. September. Es ist die erste offengelegte Einbettung eines externen Evaluators in einem führenden KI-Labor. Anders als bisherige externe Prüfungen, die fertige Modelle von außen testen, sollen die eingebetteten Evaluatoren innerhalb des Unternehmens arbeiten und Zugang vergleichbar mit dem eines Mitarbeiters erhalten. Sie können Modelle im Training beobachten, Entscheidungen über Bau und Einsatz verfolgen und direkt mit Mitarbeitern sprechen. Viele Details der Umsetzung sind nach Angaben von Anthropic noch offen. Accenture bringt über Faculty Erfahrung im Testen und Evaluieren von Modellen für führende KI-Labore ein; Faculty hat nach Unternehmensangaben komplexe KI-Systeme für Regierung, Verteidigung, Gesundheitswesen und Infrastruktur gebaut, darunter das Frühwarnsystem des britischen National Health Service während der Covid-19-Pandemie (Herstellerangabe). Accenture hilft Unternehmen und Regierungen, KI in vielen Branchen einzusetzen; dieses Praxisverständnis fließt in die Sicherheitsbewertung ein. Die Partnerschaft ist ein erster konkreter Schritt, externe Prüfer dauerhaft in die Entwicklung von Frontier-Modellen einzubinden.

Von der Theorie zur Praxis: Amodeis 'Pace the Frontier' wird Realität

Die Partnerschaft ist die erste offengelegte Umsetzung von Dario Amodeis Essay 'We Must Pace the Frontier', in dem der Anthropic-CEO externe Evaluatoren in Frontier-KI-Laboren fordert. Amodei hatte in dem Essay argumentiert, dass KI-Unternehmen das Tempo der Verbesserung ihrer Modelle verlangsamen müssen. Anthropic finanziert Accentures Arbeit nach eigenen Angaben direkt; langfristig solle die Finanzierung aus gepoolten oder staatlichen Quellen kommen, wie Anthropic bereits im Juni in seinem Advanced AI Framework gefordert hatte. Da solche Quellen heute nicht existieren, will Anthropic mit verschiedenen Evaluatoren unter verschiedenen Finanzierungsmodellen arbeiten. Die Einbettung externer Prüfer ist der erste Schritt von Amodeis Drei-Stufen-Plan zur Verlangsamung der KI-Entwicklung. Damit wird aus dem Vorschlag eine konkrete Vereinbarung: Erstmals sitzt ein externes Team dauerhaft in einem führenden Labor, statt nur punktuell fertige Modelle zu testen.

Mitarbeiterähnlicher Zugang, aber keine Stoppbefugnis

Die eingebetteten Evaluatoren erhalten Zugang vergleichbar mit dem eines Mitarbeiters. Sie können Modelle im Training beobachten, Entscheidungen verfolgen, die regeln, wie diese Modelle gebaut und eingesetzt werden, und direkt mit Mitarbeitern sprechen. Aus dieser Position können sie bewerten, wie das Unternehmen arbeitet, ob es seine Sicherheitszusagen einhält, und blinde Flecken identifizieren. Sie können Vorfälle melden und der Öffentlichkeit eine fundiertere Darstellung von Nutzen und Risiken geben. Eine Befugnis, die Modellentwicklung oder den Einsatz zu stoppen, haben sie jedoch nicht. Diese Grenze ist ausdrücklich festgehalten. Die Evaluatoren sind Beobachter und Prüfer, keine Entscheider über Freigaben. Damit bleibt die letzte Verantwortung für Entwicklung und Einsatz bei Anthropic.

METR bleibt im Spiel: Partnerschaft nicht exklusiv

Die Partnerschaft mit Accenture ist nicht exklusiv. Anthropic spricht nach eigenen Angaben mit der gemeinnützigen Organisation Model Evaluation and Threat Research (METR) über eine Beteiligung an Elementen der eingebetteten Evaluierung. METR würde dabei eigene Mittel einsetzen. Das zeigt, dass gemeinnützige Evaluatoren weiterhin eine Rolle spielen könnten, auch wenn der erste große Vertrag an ein Beratungsunternehmen geht. Anthropic betont, mit verschiedenen Evaluatoren unter verschiedenen Finanzierungsmodellen arbeiten zu wollen.

Accenture-Aktie springt an: Markt honoriert Sicherheitsengagement

Die Börse reagierte positiv: Accentures Aktienkurs stieg nachbörslich um acht Prozent. Der Kursanstieg folgt auf eine Reihe von Ankündigungen. Accenture hatte die Übernahme von Faculty am 16. März 2026 abgeschlossen; diese Einheit ist nun das Vehikel für die eingebettete Evaluierung. Bereits 2025 hatten Accenture und Anthropic eine breitere kommerzielle Partnerschaft zur Einbettung von Claude-Modellen in Kunden-Workflows gestartet. Die neue Sicherheitspartnerschaft baut auf dieser Beziehung auf, ist aber enger auf Evaluierung und Red-Teaming fokussiert.

Sicherheitswettbewerb oder PR-Coup? Was die Partnerschaft für die Branche bedeutet

Die Partnerschaft stärkt Anthropics Position in der Sicherheitsdebatte, weil sie einen unabhängigen, kontinuierlich arbeitenden Prüfer etabliert, der laut Anthropic blinde Flecken identifizieren und die Einhaltung von Sicherheitszusagen überprüfen kann. Dies erhöht die Glaubwürdigkeit von Sicherheitszusagen, insbesondere nach Vorfällen, bei denen KI-Agenten führender Labore externe Websites kompromittierten, ohne interne Alarme auszulösen. Der Schritt kann als Wettbewerbsvorteil dienen, weil Anthropic nun als erstes Labor eine solche Einbettung offengelegt hat und damit in der öffentlichen Debatte um KI-Sicherheit als Vorreiter wahrgenommen wird. Die positive Resonanz von Branchengrößen wie Sam Altman und Elon Musk auf Amodeis Vorschlag zeigt, dass das Thema ernst genommen wird; Labore ohne vergleichbare Maßnahmen könnten unter Druck geraten, nachzuziehen, um nicht als sicherheitsnachlässig zu gelten.

Gleichzeitig wirft die Wahl eines Beratungsunternehmens konkrete Fragen zu Interessenkonflikten auf. Accenture berät Unternehmen und Regierungen beim KI-Einsatz und hat zugleich eine kommerzielle Partnerschaft mit Anthropic. Das Risiko besteht darin, dass Accenture als Berater auch für andere KI-Anbieter tätig sein könnte und dadurch in Loyalitätskonflikte gerät. Zudem wird die Evaluierungsarbeit direkt von Anthropic finanziert, was die Unabhängigkeit beeinträchtigen könnte, da Accenture ein Interesse an Folgeaufträgen haben könnte. Die fehlende Stoppbefugnis mindert zwar das Risiko von Eingriffen, löst aber nicht das Problem der finanziellen Abhängigkeit. Dass gemeinnützige Evaluatoren wie METR zunächst außen vor bleiben, obwohl sie als unabhängiger gelten, verstärkt diese Bedenken. Ein Widerspruch betrifft die Investitionshöhe: Eine Fachmeldung spricht von einer Mindestinvestition von einer Milliarde Dollar über fünf Jahre, was als Gesamtsumme lesbar ist, während die offiziellen Ankündigungen beider Unternehmen jeweils mindestens eine Milliarde Dollar nennen. Accenture verweist zudem auf eigene Angaben, wonach das Unternehmen verantwortungsvolle KI im eigenen Betrieb und in Kundenprojekten operationalisiert habe und 96 Prozent der Organisationen ein gewisses Maß an staatlicher Regulierung unterstützten (Herstellerangabe). Ob die Partnerschaft tatsächlich mehr Sicherheit bringt oder vor allem Reputationswert hat, wird sich an den ersten Berichten der eingebetteten Evaluatoren zeigen.