PR-OPD: Agenten-Training gleicht versteckte Zustände statt Token-Wahrscheinlichkeiten an

PR-OPD verlagert den Abgleich in die versteckten Zustände

PR-OPD (Privileged Representation On-policy Self-Distillation) ist ein Verfahren für das RL-Training von Sprachmodell-Agenten. Die bisherige privilegierte Selbstdestillation lässt ein Modell, das einen Skill im Kontext hat, sein skill-freies Gegenstück über Token-Wahrscheinlichkeiten unterrichten. PR-OPD setzt dagegen an den versteckten Zuständen an: Die projizierten Hidden States des Modells ohne Skill werden auf allen Schichten an die des Modells mit Skill angeglichen.

Der Ablauf sieht so aus. Nach einem GRPO-Warmstart schreibt die Policy zu jeder Trajektorie einen Hindsight-Skill. Damit liest sie ihre eigenen Antworten erneut und fungiert dabei als Stop-Gradient-Lehrer. Der Angleich läuft parallel zum Reward-Ziel. Laut den Autoren kommt das Verfahren ohne externe Skill-Bibliothek und ohne separaten Lehrer aus und erzeugt keinen Inferenz-Overhead.

Ein Skill hebt WebShop auf 56,2 Prozent, verändert aber kaum Token-Wahrscheinlichkeiten

Die Autoren begründen den Wechsel des Kanals mit zwei Diagnosebefunden. Der erste trägt den Namen „Invisible Advantage“. Ein Skill im Kontext steigert die Erfolgsquote auf WebShop von 42,2 auf 56,2 Prozent. Dabei ändert er die Wahrscheinlichkeiten von weniger als einem Viertel der gesampelten Tokens. Der Vorteil steckt demnach zu einem großen Teil nicht in den Token-Wahrscheinlichkeiten, die klassische Selbstdestillation angleicht.

Der zweite Befund, „Much to Align“, betrifft die inneren Zustände. Ein Skill verändert die Hidden States von über 80 Prozent der Antwort-Tokens. Lineare Probes ordnen diese Änderung dem jeweiligen Skill zu. Daraus folgern die Autoren, dass dort mehr Signal zum Angleichen liegt. Beide Befunde stammen von den Autoren selbst.

WebShop ist nach Angaben der Benchmark-Autoren eine simulierte E-Commerce-Umgebung mit 1,18 Millionen Produkten und 12.087 crowd-gesourcten Textanweisungen. Ein Agent muss darin Produkte finden, anpassen und kaufen.

Laut Abstract bis zu 14,0 Punkte mehr WebShop-Accuracy als GRPO

Evaluiert wurde auf ALFWorld und WebShop mit zwei Backbones. Gegenüber GRPO steigt die Erfolgsquote auf ALFWorld um bis zu 4,7 Punkte, die Accuracy auf WebShop um bis zu 14,0 Punkte. Im Abstract heißt es, PR-OPD erziele „die besten Gesamtergebnisse in jeder Einstellung“. Das ist eine Herstellerangabe. Prüfen lässt sie sich über die Vergleichstabellen im Volltext, den veröffentlichten Code oder eine unabhängige Replikation.

Das Paper liegt als arXiv-Preprint vor. Ein Peer-Review ist im Material nicht belegt. Der Vergleich im Abstract bezieht sich auf GRPO; weitere Baselines sind aus dem Material nicht ersichtlich. Der Code ist unter github.com/balibata/PR-OPD angegeben. Zu Modellgewichten oder Daten gibt es keine Angaben.

SDAR, BCSD, OVCSD und SkillCycle bearbeiten dasselbe Feld

On-Policy-Selbstdestillation mit privilegiertem Skill-Kontext ist kein neues Konzept. SDAR, BCSD, OVCSD und SkillCycle bewegen sich im selben Feld, meist mit tokenbasierten Signalen. SDAR berichtet gegenüber GRPO von Zuwächsen um 9,4 Prozent auf ALFWorld und 10,2 Prozent bei der WebShop-Accuracy. Das SDAR-Repository führt PR-OPD in einer langen Liste von Folgearbeiten.

Ein direkter Vergleich von PR-OPD mit diesen Arbeiten fehlt im Material. Eine Aussage über Überlegenheit ist deshalb nicht möglich. Solange keine unabhängige Replikation vorliegt, gibt es für Praktiker noch keinen Anlass zu handeln.