KI-Agent löst laut Preprint 49 von 50 Aufgaben der theoretischen Physik

Benchmark und Ergebnis

Ein neuer Preprint (arXiv:2610.16733) stellt den Benchmark TheoPhysEval vor. Er umfasst 50 unveröffentlichte, überprüfbare Aufgaben der theoretischen Physik auf Forschungsniveau. Hinter der Arbeit stehen rund 35 Autorinnen und Autoren, unter anderem vom ICTS, von der Harvard University, der KU Leuven und von Google DeepMind. Der beste getestete Agent, GPT-6-Astra im Codex-Harness, erreichte laut Abstract 98 Prozent, also 49 von 50 Aufgaben. Die Kosten lagen dem Abstract zufolge im Schnitt unter 3 US-Dollar pro Aufgabe. Nach Angaben von traictory.com kostete der gesamte Durchlauf knapp 116 US-Dollar.

Die Autoren schätzen die Schwierigkeit selbst ein: Ein Weltexperte löse eine typische Aufgabe ohne KI-Hilfe in etwa einem Tag oder weniger. Fachleute aus angrenzenden Spezialgebieten bräuchten deutlich länger. Getestet wurden handelsübliche Agenten. Sie arbeiteten autonom und ohne menschliche Hinweise. Erlaubt war die Literaturrecherche sowie das Schreiben von Skripten für numerische und symbolische Rechnungen. Die Werte stammen aus dem Paper selbst. Sie sind keine Herstellerbenchmarks von OpenAI.

Abgewandelte Rechnungen statt offener Fragen, dazu Hinweise aufs Auswendiglernen

Das Ergebnis ist enger zu lesen, als die Prozentzahl nahelegt. Laut Paper handelt es sich um „turn-the-crank“-Probleme: Eine bekannte Methode wird auf eine leicht abgewandelte Fragestellung angewendet. Die Aufgaben verteilen sich auf elf Teilgebiete, darunter Strömungen, biologische Prozesse, Teilchenphysik, Kosmologie und Schwarze Löcher. Große offene Fragen schlossen die Autoren bewusst aus. Oft übernahmen Beitragende eine Rechnung aus eigenen jüngeren Arbeiten und änderten einzelne Werte. So ließ sich das neue Ergebnis nicht aus dem alten erraten.

Auffällig ist ein zweiter Befund. Ohne Websuche und ohne Zugriff auf Hintergrundpapiere ändert sich die Genauigkeit der Agenten im Schnitt kaum. Die Autoren deuten das als Hinweis auf starkes Auswendiglernen der Literatur. Demnach wären die Aufgaben nicht neu zu erarbeiten, sondern teils aus Gelerntem abrufbar. Welchen Wert der beste Agent ohne Websuche erreichte, geht aus dem vorliegenden Material nicht hervor.

Die Autoren halten die Agenten für fähig, konkrete Rechnungen der theoretischen Physik korrekt auszuführen. Gleichzeitig diskutieren sie, warum es trotz dieser Problemlösefähigkeit bislang keine agentengeführten Durchbrüche gibt.

Selbstbewertet, ohne Reproduktion und mit unklarer DeepMind-Rolle

Die Autoren stellten die Aufgaben selbst, ließen die Agenten laufen und bewerteten die Antworten. Eine unabhängige Reproduktion liegt im Material nicht vor. Der Datensatz liegt bei Hugging Face. Der Zugang erfolgt nach einer Anfrage, und zwar in einer „realistischen“ und einer „isolierten“ Variante (Docker, Harbor). Dritte können die Messung damit grundsätzlich nachvollziehen.

Zwei Darstellungen in der Berichterstattung weichen vom Paper ab. Cryptobriefing spricht von einem Modell mit eingeschalteter Websuche. Das Paper beschreibt dagegen einen Agenten mit Harness, Literatursuche und Skriptumgebung. Außerdem nennt Cryptobriefing die Studie „DeepMind-backed“. In den übrigen Quellen ist von einer Förderung oder Federführung durch DeepMind nicht die Rede. Belegt ist nur, dass Autoren dort angesiedelt sind. Getestet wurde zudem ein OpenAI-Modell.