Studie zu „Scaling in Games“: Mehr Daten und Vielfalt helfen vor allem in bekannten und verwandten Welten

120 Konfigurationen: Mehr Daten und Vielfalt nützen vor allem in bekannten und verwandten Welten

Die Studie „Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds“ prüft, ob sich Skalierungsgewinne aus physischen Umgebungen auf virtuelle Welten übertragen lassen. Sie ist auf arXiv und Hugging Face Papers gelistet. Die Autoren begründen ihre Frage so: Virtuelle Welten unterscheiden sich in Optik, Dynamik, Steuerung und Zielen. Physische Erfahrungen folgen dagegen denselben Naturgesetzen.

Für ihre kontrollierte Studie zum kontinuierlichen Vortraining (CPT) variieren die Autoren drei Achsen: Datenvolumen, Datenvielfalt und Modellgröße. Die 120 Konfigurationen decken vier Modellgrößen von 0,8B bis 27B ab, sechs Datenbudgets von 50 bis 1.600 Stunden und fünf Datenmischungen. Diese reichen von reinen Minecraft-Daten bis zu diversen Multi-Welt-Korpora. Bewertet wird mit Validierungsverlusten auf drei Ebenen und mit Gameplay-Benchmarks. Letztere reichen von Welten im Trainingskorpus bis zu ungesehenen Welten.

Der Hauptbefund der Autoren: Mehr Daten verbessern die Leistung im Trainingskorpus. Diversität verbessert den Transfer auf verwandte Welten. In entfernten Welten bleibt der Gewinn begrenzt. Alle Aussagen dieses Abschnitts stammen aus dem Abstract und sind Angaben der Autoren.

Größere Modelle sind dateneffizienter, generalisieren bei Einzelwelt-Training aber schlechter

Zur Modellgröße berichten die Autoren: Größere Modelle nutzen Daten effizienter. Trainiert man sie aber nur auf einer Welt, generalisieren sie schlechter auf entfernte Welten. Wer auf ein einzelnes Spiel setzt oder große Modelle allein mit Einzelwelt-Daten trainiert, darf sich davon also keinen breiten Transfer versprechen. Das ist eine Lesart des Abstracts, keine eigene Aussage der Autoren.

Zudem beobachten die Autoren zwei Phasen. In einer frühen „Interface-Phase“ zeigen sich breite Vorteile über Welten hinweg. In der späteren „World-Phase“ schrumpfen die Gewinne auf das Trainingskorpus und verwandte Welten. Außerdem passen sie ein empirisches Skalierungsgesetz an, das den Validierungsverlust mit Datenvolumen, Diversität und Modellgröße verknüpft.

Einschränkend liegt nur der Abstract vor, ohne Ergebnistabellen und ohne konkrete Zahlen. Die Stärke der Effekte lässt sich deshalb nicht beurteilen. Die Autoren sehen in ihren Ergebnissen eine Motivation für „reichere Trainingsformen jenseits von Imitation“. Ob sie solche Verfahren selbst prüfen, geht aus dem Abstract nicht hervor.

SIMA 2 und Game-TARS berichten robuste Generalisierung, ein direkter Vergleich fehlt

Verwandte Arbeiten zeichnen ein anderes Bild. Auch dort handelt es sich um Herstellerangaben. Google DeepMind berichtet für SIMA 2, das auf Gemini aufbaut, 65 Prozent Erfolg bei menschlicher und 66 Prozent bei automatischer Bewertung. Gemessen wurde auf zurückgehaltenen Aufgaben in Trainingsumgebungen. SIMA 1 kommt demnach auf 33 beziehungsweise 30 Prozent. Das Team spricht von robuster Generalisierung auf ungesehene Umgebungen.

Game-TARS von ByteDance Seed mit der Peking University wurde auf über 500B Tokens vortrainiert. Laut Abstract erreicht es etwa die doppelte Erfolgsrate des bisherigen SOTA in Minecraft.

Den scheinbaren Widerspruch zur begrenzten Generalisierung der Scaling-Studie kann das Material nicht auflösen. Vermutlich unterscheiden sich die Definitionen von „entfernt“ und „ungesehen“. Auch Benchmarks, Modelle und Trainingsdaten dürften abweichen. Ob die Studie über diese Arbeiten hinaus bei absoluten Leistungen vorankommt, ist nicht belegt.