Live RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos
↘

Destillation mit Nebenwirkung: Reasoning-Supervision hebt Mathematik, ALFWorld-Supervision lässt τ^2-bench einbrechen

Ein Preprint zeigt, dass On-Policy-Distillation je nach Domänenpaar die Genauigkeit von Agenten stark steigern oder massiv senken kann. Selektive OPD mildert den Schaden, kostet aber Lernerfolg.

· Veröffentlicht: 21.11.2026 ·2 Min Lesezeit
Destillation mit Nebenwirkung: Reasoning-Supervision hebt Mathematik, ALFWorld-Supervision lässt τ^2-bench einbrechenMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • General-Reasoning-Supervision senkt die Tool-Versuche in Mathematik von 70,4 % auf 14,4 %.
  • Zugleich steigt die Genauigkeit in Mathematik von 16,7 % auf 38,0 %.
  • Supervision mit Code-Interpreter verbessert Haushalts-Aktionen (ALFWorld) und Retail-Abfragen.
  • ALFWorld-Supervision senkt die τ^2-bench-Genauigkeit von 41,5 % auf 6,6 %.
  • Selektive OPD behält die obersten 95 % der Positionen; τ^2-Genauigkeit steigt von 11,5 % auf 29,9 %.

Weniger Tool-Versuche, mehr Treffer: Mathematik-Supervision mehr als verdoppelt die Genauigkeit

Ein Preprint untersucht, wie On-Policy-Distillation (OPD) die ReAct-Interaktionsmuster von Sprachmodell-Agenten verändert. Gemeint sind Denken, Handeln und das Einholen von Beobachtungen. Verglichen werden Mathematik, ALFWorld und τ^2-bench. OPD überträgt die Fähigkeiten eines starken Lehrers per tokenweiser Supervision auf Trajektorien, die der Schüler selbst erzeugt. Klassische Wissensdestillation und SFT setzen dagegen meist auf feste Antworten, die der Lehrer vorgibt.

Laut Abstract senkt Supervision mit General Reasoning die Tool-Versuche in Mathematik von 70,4 auf 14,4 Prozent. Die Genauigkeit steigt von 16,7 auf 38,0 Prozent. Nach Angaben der Autoren verbessert Supervision mit Code-Interpreter Haushalts-Aktionen in ALFWorld sowie Retail-Abfragen. Alle Zahlen stammen aus dem Abstract.

ALFWorld-Training lässt τ^2-bench-Genauigkeit von 41,5 auf 6,6 Prozent einbrechen

Derselbe Mechanismus kann auch schaden. Laut Abstract senkt ALFWorld-Supervision die Genauigkeit auf τ^2-bench von 41,5 auf 6,6 Prozent. Begleitet wird der Einbruch von häufigen Tool-Aufrufen, die Abhängigkeiten von Nutzerinformationen verletzen.

OPD wirkt demnach weder pauschal positiv noch pauschal negativ. Je nach Domänenpaar hilft sie deutlich oder schadet stark. Eine Erklärung der Ursache liefert der Abstract nicht.

Selektive OPD hebt τ^2-Genauigkeit auf 29,9 Prozent, kostet aber Lernerfolg in der Quelldomäne

Als Gegenmaßnahme testen die Autoren eine selektive OPD. Sie nutzt ausschließlich Trainingstrajektorien der Quelldomäne. Behalten werden Positionen, an denen sich die Präferenz des Lehrers vor und nach domänenspezifischem Reinforcement Learning am stärksten ändert. Wer die obersten 95 Prozent der Positionen behält, hebt die τ^2-Genauigkeit laut Abstract von 11,5 auf 29,9 Prozent. Der Preis ist ein Zielkonflikt: Das Lernen in der Quelldomäne leidet.

Für Teams, die Agenten per OPD destillieren oder mehrere Fähigkeiten in ein Modell zusammenführen, heißt das: Nebenwirkungen auf andere Domänen gezielt testen, etwa beim Tool-Einsatz im Kundendialog. Einschätzung: Der Transfer fällt je nach Domänenpaar sehr unterschiedlich aus, sowohl positiv als auch negativ. Eine Prüfung der Nebenwirkungen lohnt sich daher. Es handelt sich um einen Preprint. Der Befund stützt sich hier allein auf den Abstract.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel