KI SpotlightNewsLOLPlay: Mehr Reasoning-Aufwand hilft KI-Agenten in League of Legends nicht
Ein neuer Echtzeit-Benchmark testet drei Modelle im nativen Spiel. Bei keinem steigt die Erfolgsquote mit hohem Reasoning-Aufwand. Bei GPT-6 Astra sinkt sogar die Zahl der Interaktionsrunden.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- LOLPlay ist ein Benchmark im nativen League of Legends mit 36 champion-spezifischen Aufgaben.
- Agenten interagieren über Screenshots und Maus-Tastatur-Aktionen; 82 Teilziel-Prüfungen messen Teilfortschritt.
- Ausgewertet werden 324 Aufgaben-Evaluationen von drei Modellen bei je drei Reasoning-Effort-Stufen.
- GPT-6 Astra erreicht 25,0 % Aufgaben-Erfolg bei niedrigem und mittlerem Effort, 40,3 % Teilziel-Erfolg bei mittlerem.
- Hoher Effort verbessert bei keinem Modell Aufgaben- oder Teilziel-Erfolg gegenüber niedrigem Effort.
Hoher Reasoning-Aufwand bringt in LOLPlay keinen Vorteil
Für kein getestetes Modell steigt die Erfolgsquote bei hohem Reasoning-Aufwand gegenüber niedrigem. Das gilt sowohl für vollständig gelöste Aufgaben als auch für Teilziele. Grundlage des Papers zum Benchmark sind 324 Aufgaben-Evaluationen von drei Modellen, jeweils auf drei Reasoning-Effort-Stufen.
Am besten schneidet GPT-6 Astra ab. Das Modell löst 25,0 Prozent der Aufgaben bei niedrigem und bei mittlerem Effort. Die Teilziel-Erfolgsquote erreicht bei mittlerem Effort mit 40,3 Prozent ihren Höchstwert. Mehr Aufwand bringt also keinen Zugewinn.
Bei Astra lassen längere Requests weniger Interaktionsrunden zu. Die Autoren sehen darin Kosten zusätzlichen Reasonings bei Echtzeitsteuerung. Gemessene Kausalität weisen sie nicht aus. Laut Paper zeigen die Trajektorien außerdem zwei Muster: unvollständige Komposition der Teilziele und Aktionen, die erst ausgeführt werden, wenn sich die beobachtete Szene bereits geändert hat.
36 Champion-Aufgaben, Screenshots und 82 Teilziel-Prüfungen
LOLPlay läuft im nativen League of Legends, nicht in einer nachgebauten Umgebung. Der Benchmark umfasst 36 champion-spezifische Aufgaben aus den Bereichen Ressourcenmanagement, Kampf, Kooperation und Ziele. Die Agenten sehen Screenshots und steuern das Spiel über Maus- und Tastatureingaben.
Eine automatisierte Initialisierung bereitet jede Aufgabe vor. 82 ausführbare Teilziel-Prüfungen trennen Teilfortschritt von vollständiger Lösung. So lässt sich für Astra festhalten: Das Modell erreicht deutlich mehr Teilziele, als es Aufgaben abschließt.
Laut Repository führt die Laufzeit die Eingaben aus. Ein unabhängiger Evaluator prüft Zustände und Ereignisse über die Live Client Data API.
Verwandte Benchmarks zeigen ähnliche Muster bei Latenz und Reasoning
Der Befund steht nicht allein. In RealtimeBench schneidet GPT-6.1-sol bei pausiertem Spiel besser ab als das schnellere Jev. Sobald das Spiel während der Inferenz weiterläuft, fällt es jedoch zurück. Timely-Eval zeigt, dass kleinere Modelle bei schnellem Feedback über mehr Interaktionen punkten. Größere Modelle profitieren dagegen bei hoher Latenz.
Eine Systemanalyse zu KI-Agenten kommt außerdem zu dem Ergebnis, dass mehr Test-Time-Compute schnell abnehmende Erträge und eine größere Latenzstreuung mit sich bringt. LOLPlay liefert dafür einen neuen Anwendungsfall. Ein isoliertes Phänomen ist es nicht.
Reproduktion braucht Windows, League-Client und Modellzugang
Der Code liegt im Repository github.com/answers111/LOLPlay. Es enthält 36 Aufgaben für 36 Champions und fünf Agent-Modi. Die Aufgaben laufen in lokalen Custom Games.
Der Gameplay-Runner zielt auf Windows. Nötig sind ein laufender, angemeldeter League-Client und Modell-Zugangsdaten. Zum Paper sind auf Hugging Face derzeit keine Modelle und keine Datensätze verlinkt.
