KI SpotlightNewsAnthropic-Forscher: >10% Risiko für KI-Auslöschung
Ein Anthropic-Sicherheitsforscher (Evan Hubinger) schätzt die Wahrscheinlichkeit, dass eine fehlausgerichtete superintelligente KI innerhalb des nächsten Jahrzehnts die Menschheit auslöscht, auf über zehn Prozent. Auslöser ist der Rücktritt des Anthropic-Mitarbeiters Jacob Coxon, der OpenAI und Anth
Mit KI erstellt◆ Fakten auf einen Blick
- Evan Hubinger, Leiter eines Sicherheitsteams bei Anthropic, hat auf X eine persönliche Schätzung abgegeben: über 10% Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet.
- Hubingers Aussage erfolgte als Reaktion auf X-Posts von Jacob Coxon, der Anthropic verlassen hat und zuvor bei OpenAI arbeitete.
- Jacob Coxon warf OpenAI und Anthropic vor, nicht verantwortungsvoll zu handeln; er sagte, die Systeme würden bald übermenschlich sein und könnten alles hacken, jedes Feld über Nacht revolutionieren und echte Macht und Ressourcen erlangen.
- Dame Wendy Hall, Informatikerin und UN-Beraterin, zeigte sich schockiert über die Posts und sagte, einiges könne PR/Marketing sein, da Anthropic und OpenAI auf Börsengänge zusteuerten.
- Anthropic wurde 2021 von ehemaligen OpenAI-Führungskräften gegründet, teilweise weil sie das Gefühl hatten, die Branche nehme existenzielle Risiken nicht ernst genug.
- Laut Future of Life Institute Scorecard belegt Anthropic erneut den höchsten Gesamtrang und führt fünf von sechs Domänen an; OpenAI führt bei Risikobewertung.
1. Anthropic-Forscher: >10% Risiko für KI-Auslöschung
Evan Hubinger, Leiter eines Sicherheitsteams bei Anthropic, schätzt die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, auf über zehn Prozent. Auslöser war der Rücktritt von Jacob Coxon, der OpenAI und Anthropic verantwortungsloses Handeln vorwarf. Hubinger begründet seine Einschätzung mit der rasanten Fortschrittsrate und der Sorge, dass sich KI-Systeme bald selbst verbessern könnten.
2. Reaktionen: Schock und Marketing-Vorwurf
Dame Wendy Hall, UN-Beraterin, zeigte sich schockiert und vermutete PR- oder Marketing-Motive, da Anthropic und OpenAI auf Börsengänge zusteuerten. Jacob Coxon betonte dagegen, die Sorge sei echt: Er verweist auf bald übermenschliche Systeme, die alles hacken und reale Macht und Ressourcen erlangen könnten. Anthropic selbst fordert dringende staatliche Regulierung, da das Risiko schnell wachse und Maßnahmen sonst zu spät kämen.
