KI SpotlightNewsFrontierPhysics: Keine getestete KI-Konfiguration besteht mehr als 46 von 168 Durchläufen
Ein neuer Benchmark lässt KI-Agenten vollständige Physik-Forschungsprojekte bearbeiten, von der Literaturrecherche bis zum Manuskript. Die Autoren sehen die Schwächen vor allem bei Rigor und Intuition.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- FrontierPhysics umfasst 56 Aufgaben, erstellt von 42 Physikern aus ihrer eigenen Forschung.
- Die Aufgaben decken neun Teilgebiete der theoretischen, computergestützten und experimentellen Physik ab.
- Die Bewertung kombiniert deterministische Verifizierer mit von Experten verfassten Rubriken.
- Getestet wurden 22 Modelle in 26 Konfigurationen; keine besteht mehr als 46 von 168 Durchläufen.
- Hauptschwächen der Agenten sind unzureichend rigorose Argumentation und begrenzte Experten-Intuition.
Keine Konfiguration besteht mehr als 46 von 168 Durchläufen
Auf dem neuen Benchmark FrontierPhysics besteht keine getestete Konfiguration mehr als 46 ihrer 168 Durchläufe. So steht es im Paper der Autoren. Geprüft wurden 22 Modelle in 26 Konfigurationen.
Der Benchmark umfasst laut Paper 56 Aufgaben. Die Aufgaben stammen von 42 Physikern, die sie aus ihrer eigenen Forschung entwickelt haben. Sie decken neun Teilgebiete der theoretischen, computergestützten und experimentellen Physik ab.
Die Angaben zu Aufgabenzahl, Urhebern, Teilgebieten und Ergebnis stammen aus dem Paper der Autoren. Eine unabhängige Überprüfung liegt nicht vor.
Von der Literaturrecherche bis zum Manuskript: Was die Aufgaben verlangen
Der Zuschnitt unterscheidet FrontierPhysics nach Darstellung der Autoren von anderen Tests. Jede Aufgabe verlangt von den Agenten eine Literaturrecherche und einen Forschungsplan. Anschließend folgen die Durchführung von Forschung und Experimenten, strukturierte Ergebnisse und ein wissenschaftliches Manuskript.
Bewertet wird mit einer Kombination aus deterministischen Verifizierern und von Experten verfassten Rubriken. Die Verifizierer prüfen festgelegte, nachvollziehbare Kriterien. Die Rubriken erfassen, was sich nicht mechanisch abfragen lässt.
Die Autoren grenzen sich damit von bestehenden Physik-Benchmarks ab. Diese prüften feste Fragen, isolierte Teilaufgaben oder die Paper-Reproduktion mit vorgegebener Lösung. Selten bewerteten sie die Forschungsqualität neben der Korrektheit. So sehen es die Autoren. Ob der Ansatz tatsächlich neu ist, hat niemand unabhängig geprüft.
Schwächen liegen laut Autoren bei Rigor und Intuition, nicht beim Wissen
Die Autoren haben die Trajektorien der Agenten manuell durchgesehen. Demnach liegen die Hauptschwächen in unzureichend rigoroser Argumentation und begrenzter Experten-Intuition. Wissenslücken und Ausführungsfehler seien nicht die Ursache.
Der Benchmark soll bewerten, ob die Forschung der Agenten korrekt und publizierbar ist. Das ist ein Anspruch an die eigene Methode, kein Nachweis. Prüfbar wäre er durch die Offenlegung von Verifizierern und Rubriken, durch Angaben zur Übereinstimmung zwischen Gutachtern und durch eine Prüfung mit unabhängigen Physikern.
Ein anderes Bild zeichnet ein Preprint, der nur über einen Reddit-Beitrag bekannt ist. Demnach hätten Agenten 49 von 50 unveröffentlichten theoretischen Forschungsproblemen gelöst. Eine Re-Grading-Studie beschreibt bestehende Physik-Benchmarks zudem als nahe an der Sättigung. Den Preprint selbst hat die Redaktion nicht gesichtet. Ob seine Befunde mit FrontierPhysics vergleichbar sind, ist nicht belegt. Denn FrontierPhysics bewertet ganze Projekte samt Manuskript.
