Live RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos
↘

Von Coding-Agenten geschriebenes C-Programm erreicht in 50,49 Prozent der Craftax-Testwelten die letzte Ebene

Die Agenten entwickeln die Policy anhand von Simulator-Feedback. Die Autoren geben für ihren Goal Compiler 71,30 Prozent ungesehener Aufgaben an. Ob sich das über die Trainingsaufgaben hinaus verallgemeinert, ist nicht unabhängig bestätigt.

· Veröffentlicht: 20.11.2026 ·3 Min Lesezeit
Von Coding-Agenten geschriebenes C-Programm erreicht in 50,49 Prozent der Craftax-Testwelten die letzte EbeneMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • Die Policy ist ein C-Programm, das Claude Code und Codex aus Simulator-Feedback geschrieben haben.
  • Im Craftax-Spiel muss der Agent acht Ebenen hinabsteigen und den Necromancer besiegen.
  • Mit Bewertung nur über ganze Episoden erreicht die Policy die letzte Ebene in 0,29 % der Welten.
  • Mit der Feedback-Kaskade erreicht die Policy die letzte Ebene in 50,49 % von 2.048 Testwelten.
  • Eine auf den Boss fokussierte Erweiterung gewinnt in 28,37 % der Testwelten, das sind 581 Welten.

C-Programm erreicht in der Hälfte der Craftax-Welten die letzte Ebene

Coding-Agenten haben für das Spiel Craftax ein C-Programm als Policy geschrieben und verfeinert. Beim Spielen braucht das Programm keine Modellaufrufe. Dem zugehörigen Repo zufolge setzten die Entwickler Claude Code und Codex ein, die ihre Änderungen anhand von Simulator-Feedback bewerteten. In 50,49 Prozent von 2.048 Testwelten erreicht die Policy die letzte Ebene.

Craftax ist ein prozedural generiertes Überlebensspiel mit eingeschränkter Sicht. Der Agent sieht nur einen kleinen Kartenausschnitt. Ziel sind 100.000 Aktionen, in denen er acht Ebenen hinabsteigt und den Necromancer besiegt. Die Zahlen stammen aus der Arbeit und dem Repo der Autoren. Eine unabhängige Nachprüfung gibt es bislang nicht.

Das fertige Programm läuft also ohne Sprachmodell. Die Modelle kommen nur bei der Entwicklung der Policy zum Einsatz.

Dichtes Feedback hebt die Quote von 0,29 auf 50,49 Prozent

Bewerten die Autoren die Policy nur nach ganzen Episoden, bleibt sie bei 0,29 Prozent stehen. Im Abstract heißt es dazu: unter einem Prozent. Der Grund ist die lange Spieldauer. Eine lokale Verbesserung kann das Endergebnis verschlechtern, und der Episodenreturn zeigt dies erst spät und nur grob an.

Deshalb setzen die Autoren auf eine Feedback-Kaskade. Sie reicht vom Episodenreturn über hierarchische Ziele bis zu Belief-Updates, die sich dicht aus dem Simulator bewerten lassen. Laut Repo wird jede Änderung danach beurteilt, wie stark sie die Chance erhöht, aus gespeicherten Spielzuständen die letzte Ebene zu erreichen.

Mit diesem Verfahren erreicht die Policy die genannten 50,49 Prozent. Eine auf den Boss fokussierte Erweiterung gewinnt in 28,37 Prozent der Welten, also in 581 von 2.048.

Goal Compiler: 71,30 Prozent ungesehener Aufgaben, verglichen mit der eigenen Basispolicy

Im zweiten Schritt zerlegen die Autoren die Policy in zwei Teile: einen festen Umgebungsinterpreter I, der Modelle, Gedächtnis und Skills umfasst, und ein Regelprogramm p_0. Coding-Agenten optimieren einen Goal Compiler, der strukturierte Aufgaben in neue Regelprogramme übersetzt. So soll einmal erworbene Kompetenz wiederverwendbar werden. Ohne den Compiler wäre für jedes neue Ziel eine weitere aufwendige Synthese nötig.

Auf kurzen Aufgaben trainierte, eingefrorene Compiler lösen 71,30 Prozent ungesehener Aufgaben mit bis zu acht Stufen. Die Basispolicy mit Ressourcen-Guards schafft 36,20 Prozent. Der Vergleich gilt allerdings nur gegen die eigene Basispolicy der Autoren, nicht gegen RL-Baselines oder LLM-Agenten.

Offen bleibt, ob die Compiler auf neue Aufgaben generalisieren oder nur auf Variationen der Trainingsaufgaben. Eine unabhängige Bestätigung fehlt. Die Details der fünf unabhängigen Compiler-Suchen sind im verfügbaren Abstract abgeschnitten.

Öffentliches Repo erlaubt Nachprüfung, Craftax-Vergleiche fehlen

Die Arbeit lässt sich über das öffentliche GitHub-Repo nachprüfen. Jedes Unterverzeichnis enthält ein README. Nötig sind Python 3 mit nur der Standardbibliothek sowie clang und clang++ mit C11 und C++23. NumPy und Matplotlib benötigt allein compiler/report.py.

Craftax selbst stellte ein eigenes Paper als JAX-Benchmark vor. Dort gilt das Haupt-Craftax als deutlich schwerer als Craftax-Classic, weil bestehende Methoden kaum Fortschritt brachten. Andere LLM-Ansätze wie SCALAR (88,2 Prozent Diamantensammlung) oder SGRL (Crafter und Craftax-Classic) verwenden andere Methoden und Metriken. Ein direkter Vergleich ist deshalb nicht möglich.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel