S3Gym: Neuer Benchmark testet Selbstverbesserung von LLMs in textbasierten Spielen

Neuer Benchmark S3Gym testet Selbstverbesserung von LLMs in Spielen

Große Sprachmodelle (LLMs) interagieren zunehmend mit externen Umgebungen und sammeln dabei Verhaltenserfahrung. Bisherige Agenten-Benchmarks bewerten sie jedoch überwiegend als feste Politiken – ob ein Agent sein Verhalten aktiv testen, die resultierende Erfahrung beurteilen und für künftige Entscheidungen nutzen kann, blieb offen. Der neue interaktive Benchmark S3Gym schließt diese Lücke, indem er die Selbstverbesserung von LLMs anhand dreier gekoppelter Fähigkeiten evaluiert: Self-Testing, Self-Judging und Self-Improvement. Dabei testet das Modell aktiv Spielzüge in der Umgebung (Self-Testing), bewertet die Ergebnisse anhand der von der Umgebung gelieferten Verifizierer (Self-Judging) und nutzt die so gewonnene Erfahrung, um in späteren Durchläufen bessere Entscheidungen zu treffen (Self-Improvement). Die Leistung wird anhand der Erfolgsraten in den strikten Held-out-Evaluationen gemessen, die von der permissiven Exploration getrennt sind. Diese Trennung ist entscheidend, weil permissive Exploration es dem Modell erlaubt, vielfältige Erfahrungen zu sammeln, ohne dass diese direkt in die Bewertung einfließen, während die Held-out-Evaluation auf ungesehenen Spielinstanzen eine unverzerrte Messung der tatsächlichen Generalisierungsfähigkeit sicherstellt. S3Gym instanziiert dieses Protokoll in sieben textbasierten Spielen mit ausführbaren Umgebungsverifizierern.

Erfahrungsintegration: Drei Wege im Vergleich

Die Studie vergleicht drei Wege, wie Interaktionserfahrung in das Modell einfließen kann. Der erste ist direktes History In-Context Learning (ICL): Die bisherigen Spielverläufe werden dem Modell als Kontext mitgegeben. Der zweite Weg ist ein score-konditioniertes Summary Memory: Das Modell erstellt Zusammenfassungen seiner Erfahrungen, die anhand der erzielten Punktzahl gewichtet werden. Der dritte Weg ist Parameter Training, bei dem die Modellgewichte anhand der Erfahrung angepasst werden. Die Experimente zeigen, dass keiner dieser Wege pauschal überlegen ist, weil die optimale Repräsentation von Erfahrung von der Aufgabenstruktur abhängt. Strukturelle Merkmale wie die Wiederholbarkeit von Teilproblemen oder die Bedeutung des unmittelbaren Kontexts bestimmen, ob Komprimierung oder direkter Verlauf vorteilhaft ist. Beispielsweise sind Zusammenfassungen dann vorteilhaft, wenn sich Erfahrung in wiederverwendbare Strategien komprimieren lässt – etwa bei Aufgaben mit wiederkehrenden Mustern, bei denen das Modell aus wenigen Beispielen generalisieren kann. In anderen Fällen, wenn der spezifische Verlauf der Interaktion entscheidend ist, kann direktes History ICL besser geeignet sein, weil es den vollständigen Kontext bewahrt.

Selbstverbesserung nicht automatisch: Kontext entscheidet

Die zentrale Erkenntnis: Selbstverbesserung ist weder automatisch noch einheitlich. Kontextuelle Erfahrung verbessert die Leistung zwar für mehrere Modell-Spiel-Paare, aber der Erfolg hängt von der Repräsentation der Erfahrung und der Struktur der Aufgabe ab. Kontextuelle Erfahrung führt nur dann zu Verbesserungen, wenn sie es dem Modell ermöglicht, aus den gesammelten Interaktionen relevante Strategien zu extrahieren, die auf neue Spielsituationen übertragbar sind. Aufgaben, die wiederkehrende Muster oder klare Erfolgskriterien aufweisen, begünstigen diesen Effekt, während bei stark zufälligen oder einzigartigen Aufgaben die Erfahrung oft nicht verallgemeinerbar ist und daher wenig Nutzen bringt. Bestehende Agenten-Benchmarks evaluieren LLMs überwiegend als feste Politiken; S3Gym ermöglicht erstmals, aktives Testen, Bewerten und Nutzen von Erfahrung systematisch zu messen.