KI SpotlightNewsEin einziges Trainingsbeispiel genügt: On-Policy Distillation überrascht
Neues Paper zeigt, dass One-Shot OPD über hunderte Schritte den Großteil des Full-Data-Gewinns wiedererlangt – andere Studien berichten jedoch von Instabilität
Mit KI erstellt◆ Fakten auf einen Blick
- On-policy distillation (OPD) kombiniert student-generierte Rollouts mit dichter Token-Level-Supervision durch einen Lehrer.
- One-shot OPD verbessert sich über hunderte Schritte und erholt den Großteil des Gewinns von Full-Data OPD über Aufgabendomänen und Modellfamilien hinweg.
- Ein einzelnes Query erreicht bereits 71.5% State Coverage, der Großteil davon innerhalb der ersten 100 Schritte.
- Das Hinzufügen semantisch unterschiedlicher Queries erhöht Coverage und Validierungsgenauigkeit zusammen, bis 16 Queries 98.9% erreichen und Full-Data Training entsprechen.
- Die Angleichung (alignment) verlangsamt sich in ähnlichem Tempo, ob OPD mit einem Query oder dem ganzen Datensatz trainiert, und selbst ein fester Satz von States braucht hunderte Schritte zur Absorption.
- OPD ist daher 'data-overfed but algorithm-starved'.
Ein einziges Trainingsbeispiel genügt: On-Policy Distillation überrascht
Ein neues Paper mit dem Titel „Rethinking On-Policy Distillation of Large Language Models II: One Training Example“ zeigt, dass On-Policy Distillation (OPD) mit nur einem einzigen Trainingsbeispiel über hunderte Schritte Verbesserungen erzielt und den Großteil des Gewinns von Full-Data OPD über Aufgabendomänen und Modellfamilien hinweg wiedererlangt. OPD kombiniert student-generierte Rollouts mit dichter Token-Level-Supervision durch einen Lehrer. Die Autoren messen die State Coverage – den Anteil der Zustände, die Full-Data OPD besucht, die ein Query-Set erreicht. Ein einzelnes Query erreicht bereits 71,5 Prozent State Coverage, der Großteil davon innerhalb der ersten 100 Schritte. Das Hinzufügen semantisch unterschiedlicher Queries erhöht Coverage und Validierungsgenauigkeit gemeinsam, bis 16 Queries 98,9 Prozent erreichen und Full-Data Training entsprechen. Die Angleichung verlangsamt sich jedoch in ähnlichem Tempo, ob OPD mit einem Query oder dem ganzen Datensatz trainiert wird, und selbst ein fester Satz von States braucht hunderte Schritte zur Absorption. Die Autoren bezeichnen OPD daher als „data-overfed but algorithm-starved“: Die Rollouts legen schnell breite Supervision offen, während der Student diese Supervision langsam absorbiert.
Widerspruch: Andere Studien berichten von Instabilität
Andere Studien berichten jedoch gemischte Ergebnisse. Eine umfassende empirische Untersuchung zeigt, dass OPD instabil sein und Degradation zeigen kann, insbesondere abhängig von Lehrerwahl und Loss-Formulierung. Auf mathematischen Reasoning-Aufgaben ist OPD demnach hochsensitiv gegenüber der Wahl des Lehrers und der Verlustfunktion. Die Studie identifiziert mehrere Fehlermechanismen: eine Verteilungsdiskrepanz zwischen Lehrer und Student, Optimierungsinstabilität durch verzerrte Gradienten sowie Einschränkungen bei der Selbst-Distillation. Unterschiedliche experimentelle Bedingungen – Lehrer-Schüler-Kombinationen, Aufgaben und Loss-Formulierungen – können zu abweichenden Ergebnissen führen. Die Befunde zum One-Shot-OPD lassen sich daher nicht ohne Weiteres auf alle Konfigurationen übertragen.
