KI SpotlightNewsActObs: Beobachtungs-Token im SFT verbessern RL-Exploration
Neue Methode supervidiert Umgebungsbeobachtungen beim Fine-Tuning und erzielt nach GRPO höhere pass@k-Werte auf Terminal-Bench 2.0 und aider-polyglot.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- ActObs supervises auch die Beobachtungs-Token, die bereits in jeder Trajektorie vorhanden sind, und ermutigt die Policy, Handlungskonsequenzen zu modellieren, ohne zusätzliche Daten, Parameter, Sequenz-Token oder Forward-Passes zu benötigen.
- Die Methoden (ActObs und Action-only) zeigen nach SFT ähnliche Leistung, divergieren aber nach GRPO.
- Auf Qwen3-4B erreicht GRPO von ActObs bei jedem evaluierten Sampling-Budget ein höheres pass@k als das Action-only-Gegenstück auf Terminal-Bench 2.0.
- Auf Qwen3-8B tauscht ActObs etwas pass@1-Zuverlässigkeit gegen höheres pass@k (+3,4 Prozentpunkte bei pass@16) und löst mehr unterschiedliche Aufgaben.
- Der Vorteil erstreckt sich auf domänenübergreifendes Code-Editing auf aider-polyglot (+4,2 Prozentpunkte bei pass@1 bei 4B), dessen Aufgaben während SFT und RL nicht gesehen wurden.
- ActObs behält während RL mehr Entropie bei und erfordert weniger Policy-Bewegung, wodurch die finale Policy näher an ihrer SFT-Initialisierung bleibt.
ActObs nutzt vorhandene Beobachtungs-Token als Vorhersageziele
Beim Supervised Fine-Tuning von Agenten wendet die neue Methode ActObs die Verlustfunktion nicht nur auf die vom Agenten erzeugten Aktions-Token an, sondern auch auf die Beobachtungs-Token, die in jeder Trajektorie bereits enthalten sind. Üblicherweise dienen Umgebungsbeobachtungen lediglich als Kontext, nicht als Vorhersageziel. ActObs bricht mit dieser Konvention: Die Policy wird dazu angehalten, Handlungskonsequenzen zu modellieren, ohne dass zusätzliche Daten, Parameter, Sequenz-Token oder Forward-Passes erforderlich sind. Obwohl eingesetzte Agenten Beobachtungen nie selbst generieren, verändert das Lernen ihrer Vorhersage die Initialisierung für das anschließende Reinforcement Learning.
Höhere pass@k-Werte nach GRPO auf Terminal-Bench 2.0 und aider-polyglot
Unmittelbar nach dem SFT zeigen ActObs und das Action-only-Gegenstück ähnliche Leistung, divergieren jedoch nach dem anschließenden GRPO-Training. Auf Qwen3-4B erreicht GRPO von ActObs bei jedem evaluierten Sampling-Budget ein höheres pass@k auf Terminal-Bench 2.0 als das Action-only-Modell. Auf Qwen3-8B tauscht ActObs etwas pass@1-Zuverlässigkeit gegen höhere pass@k-Werte: Bei pass@16 liegt der Zuwachs bei 3,4 Prozentpunkten, zudem löst das Modell mehr unterschiedliche Aufgaben. Der Vorteil erstreckt sich auf domänenübergreifendes Code-Editing: Auf aider-polyglot erzielt ActObs bei Qwen3-4B ein um 4,2 Prozentpunkte höheres pass@1, obwohl die dortigen Aufgaben weder im SFT noch im RL gesehen wurden. Die Ergebnisse deuten darauf hin, dass die Beobachtungs-Supervision die Exploration unter RL gezielt verändert und zu robusteren Policies führt, insbesondere bei größeren Sampling-Budgets.
Mehr Entropie und orthogonale Gradienten erklären den Vorteil
Während des Reinforcement Learning behält ActObs mehr Entropie bei und erfordert weniger Policy-Bewegung. Dadurch bleibt die finale Policy näher an ihrer SFT-Initialisierung als beim Action-only-Training. Die Analyse führt diesen Unterschied auf das Supervised Fine-Tuning zurück: Aktions- und Beobachtungsgradienten werden bei ActObs schnell orthogonal, während das Action-only-Training ein großes residuales Beobachtungssignal hinterlässt. Dieses Residuum zwingt die Policy zu stärkeren Anpassungen und reduziert die Vielfalt der Exploration.
