DeepMind-Sicherheitsforscher wechselt zu unabhängiger Evaluierungsorganisation METR

DeepMind-Sicherheitsforscher wechselt zu unabhängiger Evaluierungsorganisation METR

Der Sicherheitsforscher Josh Engels hat Google DeepMind verlassen und ist zur gemeinnützigen Evaluierungsorganisation METR (Model Evaluation and Threat Research) gewechselt. Das gab Engels nach übereinstimmenden Berichten im September auf der Plattform X bekannt. Er war zuvor im AGI-Sicherheitsteam von DeepMind tätig. Der Wechsel ist Teil einer wachsenden Zahl von Abgängen aus führenden KI-Laboren hin zu unabhängigen Evaluierungsorganisationen. Engels begründet seinen Schritt mit dringenden Bedenken zur Sicherheit rekursiver Selbstverbesserung und möglichen katastrophalen Fehlausrichtungen. Er warnt, dass die Industrie bei der Verfolgung von Superintelligenz zunehmend Systeme einsetzt, die ihre eigenen Nachfolger mitentwerfen. Dabei entstehe eine gefährliche Rückkopplungsschleife, in der Modelle an ihrer eigenen Entwicklung beteiligt sind und das Risiko bestehe, dass sich Ausrichtungsfehler mit beschleunigter Fähigkeitsentwicklung verstärken. Engels spricht von einer "gefürchteten Möglichkeit" erheblicher Schäden innerhalb von fünf Jahren und betont, dass aktuelle Methoden möglicherweise nicht ausreichen, um die Sicherheit zu verifizieren, sobald Modelle das menschliche Verständnis übersteigen. Der Wechsel erfolgte nach eigenen Angaben drei Wochen vor der öffentlichen Bekanntgabe.

Josh Engels: Rolle bei DeepMind und abgelehnte Angebote von OpenAI und Anthropic

Josh Engels war nach eigenen Angaben im AGI-Sicherheitsteam von Google DeepMind tätig. In seinem Post auf X erklärte er, dass ihm die Arbeit dort gefallen habe. Dennoch habe er Angebote von OpenAI und Anthropic abgelehnt, um zu METR zu gehen. Als Grund nannte er, dass die Einsätze im Zusammenhang mit fortgeschrittener KI inzwischen zu hoch seien, um sich auf unabhängige Evaluierung und Ausrichtungsforschung bei METR zu konzentrieren. Engels' Forschungshintergrund umfasst nach Berichten mechanistische Interpretierbarkeit und skalierbare Überwachung. Sein Wechsel unterstreicht, dass selbst Forscher mit attraktiven Alternativen in führenden Laboren eine unabhängige Position bevorzugen, wenn sie Sicherheitsbedenken priorisieren.

METR: Gründung, Finanzierung und Unabhängigkeit von KI-Unternehmen

METR ist eine gemeinnützige Forschungsorganisation mit Sitz in Berkeley, Kalifornien. Sie evaluiert die Fähigkeiten von Frontier-KI-Modellen, insbesondere deren Fähigkeit, langfristige, agentische Aufgaben auszuführen, die nach Ansicht einiger Forscher katastrophale Risiken für die Gesellschaft darstellen könnten. Gegründet wurde METR von Beth Barnes, einer ehemaligen Alignment-Forscherin bei OpenAI, zunächst als ARC Evals innerhalb des Alignment Research Center. Im Dezember 2023 wurde die Organisation als unabhängige 501(c)(3)-Nonprofit ausgegründet und in METR umbenannt. Nach eigenen Angaben hat METR keine Finanzierung von KI-Unternehmen angenommen und ist spendenfinanziert. Im August 2026 meldete die Organisation Finanzierungszusagen in Höhe von rund 71 Millionen US-Dollar, die in den vorangegangenen sechs Monaten eingeworben wurden, um Team und Forschung auszubauen. KI-Unternehmen stellen METR allerdings erhebliche kostenlose Token für Evaluationen und Forschung zur Verfügung.

METRs Arbeit: Pre-Deployment-Evaluationen und der Benchmark RE-Bench

METR arbeitet mit führenden KI-Unternehmen bei Pre-Deployment-Evaluationen zusammen und trägt zu Systemkarten bei, etwa für OpenAIs Modelle o3, o4-mini, GPT-4o und GPT-4.5 sowie für Anthropics Claude-Modelle. Ein wesentlicher Teil der Forschung von METR befasst sich mit der Fähigkeit von KI-Systemen, lange Aufgaben eigenständig zu lösen. Dazu gehört der Benchmark RE-Bench, der testen soll, ob KI-Systeme Forschungs- und Entwicklungsaufgaben im Bereich KI selbst beschleunigen können. METR hat außerdem festgestellt, dass sich die Länge von Softwareentwicklungsaufgaben, die führende KI-Modelle abschließen können, zwischen 2019 und 2024 etwa alle sieben Monate verdoppelt hat. Diese Messungen sind zentral für Prognosen, wann KI transformative Auswirkungen haben könnte.

Engels' öffentliche Warnung vor rekursiver Selbstverbesserung

Josh Engels zentrales technisches Anliegen ist die rekursive Selbstverbesserung (RSI): ein Szenario, in dem ein KI-System dabei hilft, leistungsfähigere Nachfolgesysteme zu entwickeln oder zu verbessern. Jede Generation könnte dann zur nächsten beitragen, wodurch eine Rückkopplungsschleife entsteht, in der das Fähigkeitswachstum schwerer zu bewerten und zu kontrollieren wird. Die Sicherheitsfrage ist, ob Ausrichtungsmethoden mit diesem Prozess Schritt halten können. Engels erklärte, Forscher wüssten derzeit nicht, wie man Systeme sicher genug für rekursive Selbstverbesserung machen könne. Er warnt vor einer "gefürchteten Möglichkeit" erheblicher Schäden innerhalb von fünf Jahren. Diese Warnung ist keine Feststellung, dass rekursive Selbstverbesserung bereits in öffentlichen KI-Systemen stattfindet, sondern eine Einschätzung eines möglichen zukünftigen Pfads. Im Kontext seines Wechsels zu METR erhält sie besonderes Gewicht, weil Engels damit die Notwendigkeit unabhängiger Evaluierung begründet.

Weitere Abgänge aus KI-Laboren: Bilal Chughtai und Joe Benton

Der Wechsel von Josh Engels ist kein Einzelfall. Bilal Chughtai, der bis Juli im Bereich AGI-Sicherheit und Alignment bei Google DeepMind arbeitete, veröffentlichte im September einen Post auf X, in dem er seinen Austritt begründete. Er schrieb, er sei "äußerst besorgt über die Standardentwicklung dieser Technologie" und glaube, dass KI "das Potenzial hat, uns alle zu töten". Chughtai forderte eine Koordination, um den "manischen Wettlauf zwischen KI-Unternehmen" zu vermeiden und die Entwicklung auf ein Tempo zu drosseln, das die Gesellschaft verkraften könne. Bereits am 11. September hatte Joe Benton, ehemaliger Leiter des Scalable-Oversight-Teams bei Anthropic, seinen Wechsel zu METR bekannt gegeben. Benton teilt nach Berichten die Sorge, dass Unternehmen auf eine Intelligenzexplosion zurasten, ohne angemessene Ressourcen für Sicherheit bereitzustellen. Diese Abgänge belegen einen Trend: Forscher verlassen führende Labore, um unabhängige Evaluierung zu stärken.

Dario Amodeis Essay 'We Must Pace the Frontier' und die Forderung nach unabhängigen Evaluatoren

Die Bedenken von Engels und anderen Forschern werden von Anthropic-CEO Dario Amodei aufgegriffen. In einem Essay mit dem Titel "We Must Pace the Frontier", den er am Samstag veröffentlichte, fordert Amodei, die KI-Entwicklung so weit zu verlangsamen, dass Sicherheitssysteme aufholen können. Er schlägt unabhängige Evaluatoren mit Zugang zu Frontier-KI-Systemen vor sowie eine Koordination zwischen führenden KI-Unternehmen und Regierungen. Anthropic hat sich nach eigenen Angaben verpflichtet, Dritt-Evaluatoren dauerhaften Zugang auf Mitarbeiterebene zu seinen Systemen zu gewähren. Dieser Vorstoß verstärkt den Druck auf unabhängige KI-Evaluierung und deckt sich mit der Forderung, die Abgänge aus Laboren wie DeepMind und Anthropic begleitet.

Widerspruch beim Datum der Ankündigung: 12. oder 13. September?

Beim Datum der Bekanntgabe des Wechsels von Josh Engels widersprechen sich die vorliegenden Quellen. Eine Quelle nennt den 13. September als Tag der Ankündigung auf X, eine andere den 12. September. Mögliche Ursachen sind unterschiedliche Zeitzonen oder ein Berichtsfehler. Die Originalquelle, der Post von Josh Engels selbst, liegt nicht vor, sodass der Widerspruch nicht aufgelöst werden kann. Für die Berichterstattung bedeutet das: Der Wechsel wurde Mitte September öffentlich, das exakte Datum bleibt unklar.