KI SpotlightNewsSciGame: Neues Benchmark trennt Vorwissen und Evidenz bei KI-Agenten für die Wissenschaft
Kontrafaktische Umgebungen sollen zeigen, ob LLM-Agenten Gesetze aus Daten ableiten oder nur auswendig wissen. Die Autoren halten die exakte symbolische Form für den größten Engpass.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- SciGame ist ein kontrolliertes Benchmark, das wissenschaftliche Literatur in strukturierte „Scientific Cards“ umwandelt.
- Evaluiert wird in zwei Settings, jeweils unter drei Protokollen: Prior-only, Fixed und Adaptive.
- Die Autoren berichten, dass vertraute Priors schaden, sobald die zugrunde liegende Beziehung verändert wird.
- Adaptives Experimentieren hilft den stärksten Modellen, schadet schwächeren Modellen bei begrenztem Budget.
- Laut den Autoren ist die exakte symbolische Form der Hauptengpass, selbst bei korrekter Evidenzinterpretation.
SciGame trennt Vorwissen und Evidenz mit kontrafaktischen Umgebungen
Ein neues Benchmark soll messen, wie gut LLM-Agenten wissenschaftliche Gesetze entdecken. Dabei unterscheidet es, was ein Modell vorab weiß, und was es aus Daten ableitet. Die Autoren nennen es SciGame. Es wandelt wissenschaftliche Literatur in strukturierte „Scientific Cards“ um. Aus jeder Karte entstehen zwei Umgebungen: eine originale und eine kontrafaktische, deren Größen dimensional konsistent bleiben. Beide teilen dieselbe Aufgabenschnittstelle.
Die Idee dahinter ist einfach. Gibt ein Agent in der Originalumgebung ein bekanntes Gesetz wieder, kann er es aus dem Training mitbringen. Wird die zugrunde liegende Beziehung verändert, hilft dieses Vorwissen nicht mehr. Dann führt nur Evidenz aus Experimenten zum Ziel.
SciGame besteht aus zwei Sammlungen. Die Historical-Sammlung enthält kanonische Gesetze. Die Temporal-Sammlung wird laufend gepflegt und stützt sich auf Paper, die nach den Wissensstichtagen der Modelle erschienen sind. Den Neuheitsanspruch der Kombination erheben allein die Autoren. Ein unabhängiger Abgleich mit anderen Benchmarks liegt nicht vor.
Fünf Frontier-Modelle: Vertraute Priors schaden, die symbolische Form bleibt der Engpass
Getestet wird in zwei Settings: einer Identification mit vorgegebenen Kandidaten und einer offenen Discovery. Beide laufen unter drei Protokollen: Prior-only, Fixed und Adaptive. Die Experimente umfassen fünf Frontier-Modelle.
Die Autoren berichten drei Befunde. Erstens verschlechtern vertraute Priors die Leistung, sobald die zugrunde liegende Beziehung verändert wird. Zweitens hilft adaptives Experimentieren den stärksten Modellen, schadet aber schwächeren, wenn das Budget begrenzt ist. Drittens können gute Erklärungen quantitative Fehler verdecken. Ein Agent kann also plausibel argumentieren und trotzdem falsch vorhersagen.
Als Hauptengpass nennen die Autoren die Rekonstruktion der exakten symbolischen Form, selbst wenn die Agenten die Evidenz richtig deuten. Aktuelle Agenten können demnach zwar aktiv Systeme untersuchen. Exakte Gesetze in unvertrauten Settings abzuleiten, bleibe aber eine offene Aufgabe. Alle Angaben stammen aus dem Abstract der Autoren und sind nicht unabhängig bestätigt.
An bestehenden Benchmarks kritisieren die Autoren, dass sie Gesetzesinferenz mit Programmierung vermischen. Außerdem bewerten sie Data-Fitting statt Vorhersagen auf ungesehenen Eingaben und trennen empirische Evidenz nicht von vortrainierten Priors.
ScienceAgentBench setzt bei Kontamination anders an
Als Vergleich liefert das vorliegende Material nur ScienceAgentBench. Der Benchmark umfasst 102 Aufgaben aus 44 begutachteten Publikationen in vier Disziplinen. Neun Fachexperten validierten sie. Die Ausgabe ist jeweils ein Python-Programm. Gegen Datenkontamination schlagen die Autoren zwei Strategien vor. Laut Repository erschien am 30. April 2026 eine verifizierte Version, die falsch-negative Auswertungen verringern soll.
Welcher Ansatz überlegen ist, lässt das Material nicht zu beurteilen. Als verwandte Arbeiten nennen die Quellen MLGym, SciAgentGym und The Little Scientist.
