M3OPD-Reasoner: Offenes Rezept destilliert drei Teacher in ein 9B-Vision-Language-Modell
Ein Team um Nguyen Quang Trung veröffentlicht Daten, Code und Checkpoints für ein dreistufiges Post-Training auf Basis von Qwen3.5-9B. Die Benchmark-Zahlen stammen aus Berichten, nicht aus den Primärangaben.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- M3OPD-Reasoner startet von Qwen3.5-9B und deckt Bild-STEM, Bildwahrnehmung und Video ab.
- Die Autoren stellen die Datensätze M3OPD-SFT-1.35M (SFT) und M3OPD-RL-193K (RL) vor.
- Als beste Variante ermittelt das Paper MOPD mit direkt von Qwen3.5-9B per GSPO trainierten Teachern.
- Bei MOPD bewertet der domänenspezifische Teacher jedes Antwort-Token per Top-32 Reverse KL.
- Das Hauptmodell M3OPD-Reasoner-9B entsteht nach MOPD durch MixRL mit GSPO auf denselben Prompts.
Offenes Rezept destilliert drei Teacher in einen Qwen3.5-9B-Studenten
Ein Team um Nguyen Quang Trung hat mit dem M3OPD-Reasoner ein Post-Training-Rezept für Vision-Language-Modelle vorgelegt. Es deckt drei Domänen ab: Bild-STEM, Bildwahrnehmung und Video. Ausgangspunkt ist Qwen3.5-9B. Drei domänenspezifische Teacher werden per Multi-Teacher On-Policy Distillation (MOPD) in einen Studenten destilliert, danach folgt ein gemischter RL-Schritt. Das Paper trägt die ID arXiv:2611.23034. Autoren sind Nguyen Quang Trung, Hoang Phan, Shuo Sun, Longyin Zhang und AiTi Aw. Dass die Gruppe bei VinUniversity und A*STAR angesiedelt ist, melden aiweekly.co und emergent.sh. Der Paper-Abstract nennt diese Zugehörigkeit nicht.
Neu sei laut den Autoren die Abfolge aus MOPD und anschließendem MixRL auf denselben Prompts. Nach Angabe der Autoren hat kein früheres VLM-Rezept das untersucht. Das ist eine Selbstauskunft, die ein Literaturabgleich erst prüfen müsste. MOPD selbst ist kein neuer Baustein. Das verwandte Reframe nutzt es ebenfalls und vergleicht gegen Mix-RL.
GSPO-Teacher, MOPD und MixRL: die drei Stufen
Zuerst trainiert man je Domäne einen Teacher mit GSPO direkt von Qwen3.5-9B, und zwar auf den RL-Prompts dieser Domäne. In der zweiten Stufe samplet der Student auf der Vereinigung aller Prompts. Der Teacher der jeweiligen Domäne bewertet jedes Antwort-Token (Top-32 Reverse KL). Die dritte Stufe setzt MixRL mit GSPO auf denselben Prompts an, ausgehend vom MOPD-Studenten. Das Ergebnis heißt M3OPD-Reasoner-9B.
Die Teacher sind selbst trainierte Qwen3.5-9B-Modelle. Proprietäre Fremd-Teacher kommen in der MOPD-Stufe nicht zum Einsatz.
Verglichen haben die Autoren MixSFT und MixRL mit domänenspezifischen Teachern, die direkt oder nach SFT-Warm-up trainiert wurden. Am besten schneidet MOPD mit direkt per GSPO trainierten Teachern ab. Eine Abweichung gibt es bei emergent.sh: Dort samplen die Teacher die Rollouts. Laut Paper und Repository samplet der Student. Maßgeblich ist das Paper.
77,1 statt 70,0 Prozent: Was die Autoren berichten, was offen bleibt
Über 21 Benchmarks, deren Inhalte zuvor aus den Trainingsdaten entfernt wurden, erreicht der Student laut aiweekly.co und emergent.sh im Mittel 77,1 Prozent. Qwen3.5-9B kommt auf 70,0 Prozent (avg@8). Die Domänengewinne: Video +10,7 (LongVideoBench +12,3, Video-Holmes +10,3), Bild-STEM +5,1 (EMMA +14,5, LogicVista +12,0), Bildwahrnehmung +3,0. Beide Berichte geben diese Zahlen wieder. Im Paper-Abstract und in der Repository-Beschreibung stehen sie nicht. Der Titel „6,5 %“ bei emergent.sh passt weder zu den 7,1 Punkten noch zum relativen Zuwachs von rund 10 Prozent. Der Student, so die Autoren, komme jedem Teacher „sehr nahe“ und liege über den Mixed-Baselines. Das ist eine Herstellerangabe. Prüfen lässt sie sich erst anhand der Einzeltabellen und der Checkpoints.
Veröffentlicht sind laut Repository der SFT-Datensatz mit 1,35 Millionen Beispielen und der RL-Datensatz mit 193K Beispielen. Hinzu kommen Trainingscode und Checkpoints jeder Stufe, auch der Warm-up-Variante und der Baselines. Die Modelle laufen mit Transformers, vLLM und SGLang. Der Video-Teacher steht auf Hugging Face unter Apache 2.0. Die Autoren nennen das Rezept „fully open“.
Offen bleibt der Rechenaufwand. Das Rezept ist zudem an Qwen3.5-9B gebunden. Nutzen dürfte es vor allem Gruppen haben, die Qwen3.5-9B-basierte VLMs nachtrainieren oder die Checkpoints selbst testen wollen.



