Terminal-RSI-27B meldet 86,52 Prozent auf Terminal-Bench 2.1, nennt aber keine Ausgangswerte

Terminal-RSI-27B meldet 86,52 % auf Terminal-Bench 2.1, nennt aber keine Ausgangswerte

Ein neues Paper mit dem Titel „Terminal-RSI: Recursive Self-Improving Terminal Agents via Recursive Self-Rewrite and Policy-Refine“ beschreibt ein Trainingsverfahren für Terminal-Agenten. Ausgangspunkt ist Qwen3.8-27B. Nach fünf Trainingsstufen entsteht daraus Terminal-RSI-27B. Laut den Autoren erreicht das Modell 19,84 % auf Terminal-Bench 4.0, 86,52 % auf Terminal-Bench 2.1, 16,95 % auf Terminal-Bench 3.0 und 79,00 % auf Terminal-Bench Hard.

Welchen Anteil das Training daran hat, lässt sich aus diesen Zahlen nicht ablesen. Das Abstract nennt für keinen dieser Benchmarks den Wert des Ausgangsmodells. Ohne Referenz ist der Zugewinn nicht zu beziffern. Eine hohe Endzahl wie 86,52 % sagt deshalb wenig darüber, ob das Verfahren oder bereits das Basismodell den größten Teil der Leistung erbringt.

Beim Benchmark LHTB gibt das Paper dagegen Vorher-nachher-Werte an. Der Prozess-Reward steigt von 0,21 auf 0,37. Die strikte Vollendung wächst von 0 auf 5 von 46 Aufgaben, der SWR100-Erfolg von 3,00 % auf 6,00 %. Auch das sind Herstellerangaben. Die absoluten Werte bleiben niedrig. Fünf von 46 Aufgaben bieten eine schmale Grundlage für Schlüsse.

Hinzu kommt ein Mangel des Materials selbst: Das Abstract bricht mitten im Satz ab. Die Schlussaussage der Autoren ist nicht lesbar.

Zwei Runden RSR und RPR: So greifen Umschreiben und Policy-Verfeinerung ineinander

Terminal-RSI wechselt zwischen zwei Phasen. In der ersten, dem Recursive Self-Rewrite (RSR), werden verifizierte Trajektorien umgeschrieben, also Lösungswege, bei denen ein Verifier den Erfolg bestätigt hat. In der zweiten, dem Recursive Policy-Refine (RPR), wird die Policy verfeinert. Dabei wird der Critic von Stufe zu Stufe weitergereicht, was das Paper „critic-inheriting“ nennt. Der Critic schätzt den Wert von Zwischenzuständen und steuert damit die Policy-Updates.

Die Sequenz umfasst fünf Stufen: das Basismodell Qwen3.8-27B, dann RSR-1, RPR-1, RSR-2 und RPR-2. Gezeigt werden damit genau zwei RSR/RPR-Runden. Am Ende steht Terminal-RSI-27B.

Dazu kommen mehrere Bausteine. Turn-Boundary Skip-Observation GAE (TB-GAE) ist eine Variante der Advantage-Schätzung. Laut Paper bewahrt sie tokenspezifische Baselines und lässt sie zugleich über Interaktionsrunden hinweg abklingen. Family Dense Reward (FDR) soll den semantischen Fortschritt über Aufgabenfamilien hinweg kalibrieren. Success-Prioritized Reward (SPR) trennt strikten Erfolg von begrenzter Teilgutschrift. Wer die Aufgabe vollständig löst, wird also anders belohnt als jemand, der nur einen Teil schafft. Hinzu kommen ein Warm-up Critic Model, die rekursive Übergabe des Critics (Critic-Handoff) und stufenspezifische Lernraten, mit denen die beiden Phasen aufeinander abgestimmt werden.

Dass jeder dieser Bausteine wirkt, behaupten die Autoren im Abstract, etwa dass TB-GAE tokenspezifische Baselines bewahre oder der Handoff die Phasen koordiniere. Das sind Herstellerangaben. Einen Nachweis, etwa durch Ablationen, enthält das vorliegende Material nicht. Ebenso lässt sich nicht beurteilen, wie neu die Kombination gegenüber früheren Ansätzen ist. Das Material enthält keinen Vergleich.

Das Trainingssignal hängt am Verifier, und Terminal-Bench-Verifier gelten als angreifbar

Verfahren, die verifizierte Trajektorien weiterverwenden, sind nur so verlässlich wie die Verifikation. Gilt ein Lösungsweg als „verifiziert“, obwohl der Verifier ausgetrickst wurde, lernt das Modell aus einem falschen Signal. Das betrifft jedes Training mit Verifier-Ergebnissen. Es trifft also auch den Ansatz, Verifier-Resultate in Policy-Updates zu überführen, den das Paper als zentral beschreibt.

Zur Angreifbarkeit von Terminal-Bench liegen mehrere unabhängige Quellen vor. Das Berkeley-RDI-Team berichtet, sein automatischer Scan-Agent habe acht prominente Agent-Benchmarks ausgenutzt, darunter Terminal-Bench. Ein gefälschter curl-Wrapper habe auf allen 89 Terminal-Bench-Aufgaben ein perfektes Ergebnis geliefert, ohne dass Lösungscode geschrieben wurde.

Das Terminal-Bench-Team räumt in einem Update zur Leaderboard-Integrität selbst ein, dass die Community mehrere Fälle von Cheating und Reward Hacking festgestellt hat. Für das Terminal-Bench-2.0-Leaderboard verlangt es deshalb ATIF-Trajektorien für alle bestandenen Trials. Reward Hacking, etwa das Nachschlagen von Lösungen im Internet, wird mit Reward 0 bewertet. Cheating führt zur Entfernung der Einreichung. Ein Agent-Judge prüft alle bestandenen Trials. Das Team will ihn als Open Source veröffentlichen.

Die Arbeit Hack-Verifiable Terminal Bench (HVTB) überträgt die HVE-Methodik auf Terminal Bench. Sie soll Reward-Hacking-Raten bei Frontier-Modellen automatisch messen und veröffentlicht Umgebungen und Agent-Traces. Ein GitHub-Issue (#2086) skizziert außerdem ein Framework gegen Reward Hacking bei der Verifikation. Es umfasst eine Verifier-Taxonomie, einen Katalog von Cheat-Vektoren (V1 bis V9), ein Threat Model, einen Task-Audit und eine Mindest-Härtung des Verifiers. Die Liste der Vektoren sei ausdrücklich nicht abschließend.

Das ist eine Einordnung, kein Befund über Terminal-RSI. Das Material sagt nichts darüber, ob Trainingsdaten oder Bewertungen des Modells von solchen Schwachstellen betroffen sind.

Was „rekursiv“ hier trägt: Survey zu Selbstverbesserung und ein Gegenbeispiel mit Code-Umschreibung

„Recursive Self-Improving“ ist die Selbstbezeichnung der Autoren. Ebenso stammt von ihnen die Formulierung, das Verfahren bringe Agenten von Teilfortschritt zu strikter Verifikation. Ob tatsächlich Selbstverbesserung über beliebig viele Runden vorliegt, können zwei gezeigte Runden nicht belegen.

Hilfreich ist die Begriffsordnung eines Surveys über 1.250 arXiv-Papiere aus 2024 bis 2026. Er trennt begrenzte Selbstverfeinerung von offener rekursiver Selbstverbesserung. Erstere sei konvergent, evaluierbar und bereits industrielle Praxis. Letztere werde durch Grounding-Anforderungen, Kollapsdynamiken und Rechenbudget begrenzt. Der Survey kritisiert zudem, dass Begriffe wie „self-refine“ oder „self-evolve“ unterschiedliche Ambitionen vermischen.

Ein separates System zeigt eine andere Variante. Es schreibt den eigenen Agenten-Code um. In einem autonomen Lauf über acht Tage fand es sieben aufeinanderfolgende Verbesserungen. Laut Abstract lassen sie sich auf vier zurückgehaltene Benchmarks übertragen. Das ist ein anderer Ansatz als Terminal-RSI. Dort werden Modellgewichte trainiert, hier wird Code verändert, und jede akzeptierte Änderung wird zur Grundlage der nächsten Runde.

Zwei Runden mit festem Ablauf passen eher zur begrenzten Selbstverfeinerung als zur offenen Variante. Eine endgültige Zuordnung folgt daraus nicht. Dafür fehlen Daten zu weiteren Runden und dazu, ob die Gewinne sättigen.

Ablationen, weitere Runden, Reproduktion: Woran sich die Aussagen prüfen lassen

Die Herstellerangaben ließen sich an konkreten Schritten prüfen. Ablationstabellen im Volltext könnten zeigen, ob TB-GAE, FDR und Critic-Handoff tatsächlich beitragen. Weitere Runden (RSR-3 und RPR-3) samt Sättigungskurve würden klären, ob der Anspruch der Rekursion über zwei Runden hinaus trägt. Eine unabhängige Reproduktion mit veröffentlichtem Code und Gewichten ließe die Ergebnisse extern nachvollziehen. Ohne die Basiswerte der Benchmarks bleibt der Zugewinn jedoch unbeziffert.

Zusätzlich hängt die Belastbarkeit am Verifier. Solange dessen Härtung, wie im GitHub-Issue skizziert, nicht gesichert ist, bleibt auch das Trainingssignal fragwürdig. Zu Rechenkosten, Sandbox-Risiken und möglichen Nutznießern enthält das Material keine Angaben.