Paper führt Training-Inference-Mismatch im LLM-RL auf zwei Quellen zurück und schlägt DLC vor

Paper trennt den Token-Fehler in Engine-Numerik und Policy-Lag des Trainers

Das Paper „On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning“ setzt bei der üblichen Aufteilung im On-Policy-RL an. Eine Inferenz-Engine sampelt die Antworten, ein separater Trainer berechnet die Gradienten. Werten beide Komponenten dieselben Gewichte nicht identisch aus, stammen die Trainingsdaten nicht exakt aus der aktuellen Policy. Sie sind off-policy.

Laut Paper hat dieser Mismatch zwei Quellen: die Numerik der Engine und veraltete Gewichte beim asynchronen Sampling. Eine Korrektur, die unter der einen Quelle stabilisiert, kann unter der anderen versagen, warnen die Autoren. Entscheidend sei daher, welche Eigenschaft einer Quelle die nötige Korrektur bestimmt.

Dafür werten sie den Trainer bei den Gewichten des Samplers aus. So lässt sich der Fehler je gesampletem Token laut Paper exakt in zwei Anteile zerlegen: eine numerische Diskrepanz der Engine und einen Policy-Lag des Trainers. Beide verfolgen die Autoren über den gesamten Trainingsverlauf.

Konstante Diskrepanz, selbstverstärkender Lag: daraus leiten die Autoren DLC ab

Neu ist laut Abstract vor allem die Unterscheidung nach den Eigenschaften der beiden Quellen. Die numerische Diskrepanz bleibt etwa konstant und verzerrt die Updates daher um einen nahezu festen Betrag. Zentriert man den Score an jedem Präfix, fällt der führende Bias weg.

Der Policy-Lag entsteht dagegen durch die eigenen Updates des Trainers. Der Bias, den er hinterlässt, fließt ins nächste Update ein, vergrößert den folgenden Lag und schließt so eine Rückkopplungsschleife. Importance-Weighting unterbricht diese Schleife laut Paper nur, solange das Lag-Ratio konzentriert bleibt. Auf Qwen3-1.7B versagt es an dem Schritt, an dem die effektive Stichprobengröße des Ratios unter einen Wert fällt. Dieser Wert ist im vorliegenden Abstract abgeschnitten.

Aus beiden Befunden folgt die Discrepancy-Lag-Correction (DLC): Fehler zentrieren, Importance-Ratios begrenzen, das Sampling neu synchronisieren. Dass DLC das Training stabilisiert, ist eine Behauptung der Autoren. Zahlen zur Verbesserung, Benchmarks, Baselines, Ablationen, Seeds und die genaue Definition der drei Komponenten fehlen im verfügbaren Material. Auch die Abgrenzung zu bestehenden Verfahren ist darin nicht belegt.

Verwandte Berichte: kleine Abweichungen können Training kollabieren lassen

Weitere Arbeiten zeigen, dass das Thema praktisch relevant ist. Die Studie zu VeXact berichtet, kleine numerische Abweichungen auf Token-Ebene könnten allein einen Trainingskollaps auslösen. Sie behandelt den Mismatch als Faktor erster Ordnung für die Stabilität.

Ein vLLM-Beitrag gibt für DeepSeek-V4-Flash an, die Train-Inference-KL der Hochleistungs-Baseline sei bei sinkendem Reward von 2e-3 auf 29,9 gestiegen. Mit bitweise identischen Logprobs wäre die KL über 100 Schritte bei 0 geblieben, bei 91,3 Prozent des Baseline-Durchsatzes. Beim Nemotron-Lauf sei der SWE-bench-Pro-Score der Baseline von 0,56 auf 0,22 gefallen. Der konsistente Lauf sei stabil geblieben.

Betroffen sein können Teams, die Engine und Trainer trennen, besonders bei asynchronem Sampling. Welchen Nutzen und welche Kosten DLC in solchen Setups hätte, geht aus dem Material nicht hervor.