KI SpotlightNewsLongChang: Nur eines von zwölf Sprachmodellen erkennt veränderte Physik ohne Anleitung
Der Benchmark prüft, ob Sprachmodelle in simulierten Welten Anomalien selbst bemerken, ohne Aufgabenstellung. GPT-6-Astra kommt auf 16,7 Prozent, die übrigen elf Modelle auf null.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- LongChang ist ein automatisiertes Framework für simulierte Welten mit veränderten physikalischen Gesetzen.
- Getestete LLMs erkunden Welten als Explorer, manipulieren Objekte und bauen eigene Werkzeuge.
- Separate LLM-Agenten erzeugen und prüfen Szenen und bewerten Berichte, ohne menschliches Eingreifen.
- GPT-6-Astra erreicht 16,7 %, die anderen 11 der 12 getesteten LLMs erreichen 0 %.
- Die Explorationsprotokolle zeigen nicht untersuchte Anomalien und nur teilweise Identifikation der Gesetze.
Nur GPT-6-Astra findet die veränderten Gesetze, elf Modelle scheitern vollständig
Große Sprachmodelle tun sich schwer damit, veränderte physikalische Gesetze eigenständig aufzuspüren. Das Paper „Can LLMs Uncover Hidden Physical Laws through Free Exploration?“ stellt dafür den Benchmark LongChang vor. Er testet, ob Modelle in simulierten Welten mit abweichender Physik unerwartetes Verhalten bemerken und das zugrunde liegende Gesetz durch eigene Experimente herleiten, ohne Aufgabe und ohne Hinweise. Als Beispiel nennen die Autoren schwerere Objekte, die langsamer fallen.
Von zwölf getesteten Modellen erreicht nur GPT-6-Astra eine Entdeckungsrate von 16,7 Prozent. Die übrigen elf liegen bei 0 Prozent. Laut den Autoren zeigen die Explorationsprotokolle außerdem Anomalien, die nicht untersucht wurden, und eine nur teilweise Identifikation der veränderten Gesetze. Die Angaben stammen aus dem Abstract der Autoren.
Freie Exploration statt Forschungsfrage: So arbeitet LongChang
LongChang ist ein automatisiertes Framework. Es erzeugt simulierte Welten, in denen ein oder mehrere Gesetze von der gewöhnlichen Physik abweichen. Die getesteten LLMs agieren als Explorer: Sie manipulieren Objekte und bauen Werkzeuge, um eigene Fragen zu untersuchen. Forschungsaufgaben oder Hinweise auf die Gesetze bekommen sie nicht.
Bewertet wird durch weitere LLM-Agenten. Sie erzeugen und prüfen Szenen, begutachten Werkzeugdesigns und prüfen die Berichte der Explorer auf Korrektheit und experimentelle Stützung, jeweils gegen die veränderten Gesetze und die Explorationsprotokolle. Die Protokolle fließen außerdem in die Weiterentwicklung der Szenen ein. Nach Angaben der Autoren läuft der gesamte Zyklus ohne menschliches Eingreifen. Weitere Umsetzungsdetails nennt das Abstract nicht.
Abgrenzung zu NewtonBench und LLM-SRBench: Veränderte Gesetze gibt es schon, die offene Frage nicht
Veränderte Gesetze als Testgrundlage sind nicht neu. NewtonBench verwendet kontrafaktische Gesetzesverschiebungen in 324 Aufgaben aus zwölf Physikdomänen und testete elf LLMs. Die Agenten untersuchen simulierte Systeme interaktiv. Laut den Autoren sinkt die Leistung mit der Systemkomplexität deutlich, und sie reagiert sehr empfindlich auf Beobachtungsrauschen.
LLM-SRBench zielt auf Gleichungsentdeckung, ohne dass Modelle triviales Auswendiglernen belohnt. Es umfasst die Teilmengen LSR-Transform und LSR-Synth in vier wissenschaftlichen Domänen. Das beste System erreicht dort nur eine niedrige symbolische Genauigkeit.
Der Unterschied zu LongChang ergibt sich aus den Abstracts. NewtonBench verlangt von den Agenten, verborgene Gesetze in gestellten Aufgaben aufzudecken. Bei LongChang gibt es keine vorgegebene Fragestellung.
