Britischer KI-Minister fordert Härten der Verteidigungen nach Warnung aus Anthropic

Minister fordert Härten der Verteidigungen nach KI-Warnung

Großbritanniens KI-Minister Kanishka Narayan hat nach der Warnung eines ehemaligen Anthropic-Mitarbeiters gefordert, die Verteidigungen gegen Risiken künstlicher Intelligenz zu härten und auszubauen. Auf der Jahreskonferenz der Labour Party antwortete Narayan auf eine Frage des Magazins Fortune zu den Aussagen von Jacob Coxon. Er nehme die Warnungen ernst, sagte Narayan. Wenn Menschen aus den Laboren sagten, sie seien sehr besorgt, müsse man das ernst nehmen. Testen sei gut, aber klar unzureichend, so der Minister wörtlich: „You have to harden and build your defenses. The risks have only grown, so testing is good but clearly insufficient.“

Narayan begründete die Unzulänglichkeit des Testens damit, dass die Risiken gewachsen seien, während reine Tests nur Momentaufnahmen lieferten. Deshalb müsse man die Verteidigungen nicht nur härten, sondern aktiv ausbauen – also Sicherheitsarchitekturen schaffen, die mit der wachsenden Bedrohung Schritt halten. Der Minister bezog sich damit auf Coxons Warnung, wonach diejenigen, die KI bauen, ernsthaft glaubten, dass sie die Menschheit bis zum Ende des Jahrzehnts auslöschen könnte. Narayan forderte, Warnungen aus KI-Laboren ernst zu nehmen, weil die Beschäftigten dort den direktesten Einblick in die Technologie hätten und ihre Besorgnis ein Signal für reale, nicht hypothetische Gefahren sei.

Coxons Warnung: 175 Millionen Views und Zustimmung aus dem Labor

Jacob Coxon, ehemaliger Mitarbeiter von Anthropic, hatte in einem Beitrag auf X gewarnt, dass die Menschen, die KI bauen, ernsthaft glauben, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte. Der Beitrag wurde nach Angaben von Fortune 175 Millionen Mal angesehen – eine Reichweite, die weit über die Fachöffentlichkeit hinausgeht und die Debatte in den Mainstream getragen hat. Coxon, der zuvor bei OpenAI gearbeitet hatte und Anthropic in diesem Monat verließ, sagte der BBC, die Beschäftigten seien „genuinely frightened“ über das Tempo der Fortschritte.

Der Anthropic-Wissenschaftler Evan Hubinger stimmte Coxon zu und bezifferte das Risiko auf über zehn Prozent. Hubinger, der selbst im Labor arbeitet, stützt damit die Einschätzung eines ehemaligen Kollegen – die Zustimmung aus dem Labor selbst verleiht der Warnung zusätzliches Gewicht. Microsoft-Gründer Bill Gates sagte in einem Interview mit NBC, KI in falschen Händen sei mächtig genug, um Ereignisse auszulösen, die eine Milliarde Tote verursachen könnten. Gates konkretisierte damit ein Szenario, in dem KI nicht als eigenständiger Akteur, sondern als Werkzeug in den Händen von Staaten oder Terrorgruppen katastrophale Folgen hätte. Diese Warnungen von Insidern und prominenten Stimmen erhöhen den Druck auf die Politik, da sie von Personen stammen, die direkten Einblick in die Technologie haben. Sie bilden den Hintergrund für Narayans Forderung, die Verteidigungen zu härten.

Konkrete Risiken: Cybersecurity, Biochemie, autonome Modelle

Narayan nannte als aktuelle Risiken steigende Cybersecurity-Risiken, KI-Tools, die das biochemische Risiko erhöhen, und Modelle, die über menschliche Anweisungen hinausgehen. Steigende Cybersecurity-Risiken bedeuten, dass KI-Systeme für ausgefeiltere und häufigere Cyberangriffe genutzt werden können – etwa indem sie Schwachstellen automatisiert finden oder Phishing-Kampagnen in großem Maßstab personalisieren. KI-Tools mit biochemischem Risiko könnten die Forschung an gefährlichen Krankheitserregern beschleunigen, indem sie das nötige Fachwissen senken und Experimentieranleitungen liefern. Modelle, die über menschliche Anweisungen hinausgehen, könnten eigenständig Handlungen ausführen, die nicht beabsichtigt sind – etwa wenn sie Ziele verfolgen, die über den ursprünglichen Auftrag hinausgehen.

Er betonte, dass sein Hauptaugenmerk auf den Risiken von heute liege, nicht auf hypothetischen Zukunftsszenarien. Die genannten Risiken seien bereits real oder in Entstehung begriffen. Der Minister sagte, die logischen Schleifen, die man durchlaufen müsse, um daraus eine existenzielle Frage zu machen, seien erheblich und schwerwiegend. Die Aufzählung zeigt, dass die britische Regierung nicht allein auf langfristige Auslöschungsszenarien blickt, sondern konkrete Angriffsflächen benennt: Cyberangriffe, biochemische Gefahren durch KI-Werkzeuge und autonome Modelle, die Anweisungen überschreiten. Narayan machte diese Punkte in seiner Antwort auf der Labour-Konferenz deutlich und verband sie mit der Forderung, die Verteidigungen auszubauen.

UK als Testvorreiter und G20-Ambitionen

Großbritannien teste KI-Modelle seit drei Jahren, sagte Narayan. Kein anderes Land sei so gut positioniert dafür. Diese dreijährige Testerfahrung begründet nach Narayan die führende Position des Landes: Durch die kontinuierliche Evaluierung von Modellen habe das UK Expertise und Infrastruktur aufgebaut, die andere Länder erst noch entwickeln müssten. Das Land wolle beim G20-Gipfel im kommenden Jahr, während seiner Präsidentschaft, Länder zusammenbringen und Prinzipien mitgestalten. Narayan sagte: „We want to lead the world in being able to convene countries from the G20 next year as part of our presidency. Of course, we want to be fundamental drivers of the architecture of principles that are going to hopefully come out of that.“

Der Minister beansprucht damit eine Führungsrolle für das Vereinigte Königreich. Das Ziel sei, nicht nur zu testen, sondern die internationale Architektur von Prinzipien aktiv zu prägen – also gemeinsame Standards für Sicherheit und Transparenz zu entwickeln, die über nationale Alleingänge hinausgehen. Die Aussage fiel auf der Labour-Parteikonferenz und verband die Forderung nach Härten der Verteidigungen mit dem Anspruch, beim G20-Gipfel im nächsten Jahr als Präsidentschaftsnation eine koordinierende Rolle zu übernehmen.

Amodeis Verlangsamungsruf und royale Warnung

Dario Amodei, CEO von Anthropic, hatte zuvor in einem Essay gefordert, das Tempo der KI-Entwicklung zu verlangsamen. „We must slow the pace at which we improve the capabilities of AI models“, schrieb er. Amodei begründete den Aufruf damit, dass die Risikoprävention Zeit brauche, um mit der Fähigkeitenentwicklung Schritt zu halten – wenn die Fähigkeiten schneller wüchsen als die Sicherheitsmaßnahmen, entstehe eine gefährliche Lücke. Er schlug einen Drei-Punkte-Plan vor: unabhängige Überwachung von KI-Modellen während der Entwicklung, branchenweite Regulierung und globale Regulierung. Unabhängige Überwachung bedeutet, dass Dritte die Modelle während der Entwicklung evaluieren; branchenweite Regulierung soll für alle Unternehmen gelten; globale Regulierung zielt auf internationale Abstimmung, um Wettbewerbsverzerrungen zu vermeiden.

Die Chefs zweier konkurrierender Firmen, Sam Altman von OpenAI und Elon Musk von xAI, stimmten dem Vorschlag zu. Altman schrieb auf X, er stimme zu, dass man die Frontier bremsen müsse, und nannte unabhängige Evaluatoren eine gute Idee. Musk äußerte ebenfalls Zustimmung. Coxon begrüßte den Vorschlag einer Verlangsamung, sagte aber, sie müsse mit China koordiniert werden, um ein internationales Wettrennen zu vermeiden. Parallel warnte König Charles III. bei einem von ihm einberufenen Gipfel in Dumfries House vor existenziellen Gefahren durch KI in falschen Händen. Er sagte, die Schöpfer der Technologien warnten zunehmend, dass KI dunklere Fähigkeiten entwickeln könne – vielleicht sogar, Leben zu nehmen. Der König betonte die Dringlichkeit, die existenziellen Gefahren angemessen zu bedenken, und forderte, die Technologie im Dienst der Menschheit zu halten. An dem Treffen nahm auch KI-Minister Narayan teil, ebenso wie Vertreter von Nvidia, OpenAI und Anthropic sowie der Berater des Papstes.

Politische Kehrtwende: Vom Sicherheitsgesetz zur Umbenennung

Die Forderung des Ministers steht in einem politischen Umfeld, das zuletzt gegenläufige Signale sendete. Gegen Ende der Amtszeit von Keir Starmer begannen hochrangige Minister, alarmiert durch die jüngsten Entwicklungen, Pläne für ein neues KI-Sicherheitsgesetz auszuarbeiten. Sie ließen eine Überprüfung bestehender Gesetze anordnen und prüften, ob sie die führenden Technologieunternehmen zwingen könnten, ihre Produkte vor dem Start Sicherheitstests zu unterziehen. In den politischen Turbulenzen um Starmer wurden die Pläne jedoch fallen gelassen.

Andy Burnham, Starmers Nachfolger in Downing Street, schaffte in einer seiner ersten Amtshandlungen das Ministerium ab, das die Gesetzgebungsarbeit geleitet hatte. Burnhams Fokus liegt auf unmittelbareren innenpolitischen Problemen, wie dem Ausgleich des Haushalts und der Senkung der Lebenshaltungskosten; die Abschaffung des Departments signalisiert, dass KI-Sicherheit in der Prioritätenliste nach unten gerutscht ist. Zudem war das britische AI Safety Institute bereits im Februar des Vorjahres in UK AI Security Institute umbenannt worden. Die Umbenennung markiert eine inhaltliche Verschiebung: Während „Safety“ auf die Sicherheit der Systeme selbst zielt, verweist „Security“ auf Verteidigungs- und nationale Sicherheitsfragen – ein Wechsel von der zivilen Risikoprüfung hin zu militärischen und geheimdienstlichen Anwendungen. Diese Schritte stehen im Widerspruch zu Narayans Forderung nach Härten der Verteidigungen und internationaler Prinzipienbildung: Während der Minister mehr Sicherheitsmaßnahmen verlangt, hat die Regierung die gesetzgeberischen Vorarbeiten eingestellt und das Institut von ‚Safety‘ auf ‚Security‘ umbenannt.

OpenAIs Safety Cases als industrielle Antwort

Als Beispiel für industrielle Sicherheitsmaßnahmen arbeitet OpenAI nach eigenen Angaben an strukturierten Sicherheitsdokumentationen, sogenannten Safety Cases, für das Frontier-Reinforcement-Learning-Training. Das Unternehmen schreibt, es trete in eine neue Ära ein, in der strukturierte Sicherheitsdokumentation erforderlich sein sollte, bevor ein Frontier-Reinforcement-Learning-Trainingslauf fortgesetzt wird. Solche Dokumentationen sollten im Idealfall das Niveau von Safety Cases erreichen – umfassende, strukturierte, evidenzbasierte Argumente über Risiken, wie sie in anderen sicherheitskritischen Branchen üblich sind.

Diese Safety Cases sollen drei Aspekte abdecken: Alignment-Training, das sicherstellen soll, dass das Modell keine fehlgeleiteten Handlungen versucht; Eindämmung, die es erschweren soll, aus der Kontrolle auszubrechen; und Überwachung, die Probleme frühzeitig erkennen soll. OpenAI bezeichnet Safety Cases als erstrebenswerten Nordstern, räumt aber ein, dass es Herausforderungen gibt, sie für KI-Modelle so streng zu machen wie für Luftfahrt oder Kernkraft – die emergente Komplexität jeder neuen Fähigkeitsstufe mache es schwer, Risiken im Voraus vollständig zu erfassen. Damit reagiert die Industrie auf den wachsenden Druck, Sicherheitsmaßnahmen zu dokumentieren, und liefert ein konkretes Beispiel dafür, wie Unternehmen ihre Verteidigungen härten könnten.