KI SpotlightNewsTPPO: Neuer Critic für RLVR liegt laut Autoren bis zu 8,4 Punkte vor PPO
Das Verfahren summiert positionsweise Skalare zu Wert-Logits. Die Ergebnisse stammen bislang allein aus dem Paper, eine unabhängige Prüfung steht aus.
Mit KI erstellt◆ Fakten auf einen Blick
- Das Paper "TPPO: Tracking-Value PPO For Language Model Reasoning" ist auf arXiv und Hugging Face Papers veröffentlicht.
- TPPO verbessert laut Autoren den Mathe-Reasoning-Score gegenüber PPO um 7,0 Punkte auf Qwen3-4B-Base.
- Auf Qwen3-8B-Base beträgt die Verbesserung laut Autoren 8,4 Punkte gegenüber PPO.
- Laut Autoren erstrecken sich die Gewinne auch auf Qwen3.5-9B, Countdown und wissenschaftliche Coding-Aufgaben.
- Der Code ist laut Autoren öffentlich unter github.com/LINs-lab/TPPO verfügbar.
TPPO summiert positionsweise Skalare zu Wert-Logits und liegt bis zu 8,4 Punkte vor PPO
Unter dem Titel „TPPO: Tracking-Value PPO For Language Model Reasoning“ ist auf arXiv und Hugging Face Papers ein neuer Critic-Ansatz für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) erschienen. Die Autoren setzen beim Verlauf des Werts entlang einer Trajektorie an. Dieser Verlauf bestimmt, wie stark einzelne Tokens zum Ergebnis beitragen. Standard-Critics erfassen ihn laut Darstellung der Autoren bei spärlichen Endbelohnungen häufig nicht.
Die Analyse der Autoren zeigt, dass aufeinanderfolgende Präfixwerte eine Bayes-Zerlegung mit additiven Updates im Log-Odds-Raum zulassen. Darauf baut Tracking-Value PPO auf. TPPO verzichtet auf einen klassischen tokenweisen Wertkopf. Stattdessen summiert es positionsweise skalare Ausgaben zu Wert-Logits. Gelernt werden diese Ausgaben per Endergebnis-Supervision auf rekonstruierten Werten.
Nach Angaben der Autoren hebt TPPO den aggregierten Mathe-Reasoning-Score gegenüber PPO um 7,0 Punkte auf Qwen3-4B-Base und um 8,4 Punkte auf Qwen3-8B-Base. Auch die Generalisierung auf Daten außerhalb der Trainingsverteilung soll sich verbessern. Diese Zahlen stammen aus dem Abstract und sind bislang nicht unabhängig bestätigt.
Weitere Modelle und Aufgaben: Gewinne laut Autoren, Code ist offen
Laut den Autoren zeigen sich Gewinne auch bei Qwen3-4B, Qwen2.5-Math-1.5B und Qwen3.5-9B sowie bei Countdown und wissenschaftlichen Coding-Aufgaben. Die Analyse belege zudem eine genauere Nachverfolgung der Wertentwicklung und zuverlässigere Advantage-Schätzungen als bei Standard-Critics. Auch das ist Autorenangabe.
Prüfbar sind diese Aussagen im Volltext, vor allem im Analyse-Abschnitt mit den Vergleichsexperimenten zum Value-Tracking. Der Code steht unter github.com/LINs-lab/TPPO, sodass sich die Ergebnisse reproduzieren ließen. Eine unabhängige Einordnung oder Replikation gibt es nicht. Eine Abgrenzung zu anderen Critic-Ansätzen lässt sich aus dem Material nicht belegen, weil der Abstract keine solchen Vergleiche nennt.
Zum Hintergrund: GRPO verzichtet auf den gelernten Value-Critic. Stattdessen schätzt es den Advantage über gruppenrelative Normalisierung mehrerer Antworten auf denselben Prompt. Als zentrales Problem gilt bei spärlichen Endbelohnungen die Credit-Zuweisung auf Token-Ebene. Ein Survey erfasst dazu 47 Methoden aus den Jahren 2024 bis Anfang 2026. Mit TEMPO existiert außerdem ein eigenständiger, verwandter critic-freier Ansatz. Er ist nicht Teil von TPPO, und ein Vergleich beider Verfahren liegt nicht vor.
