KI SpotlightNewsMuon-RT: Paper will Momentum-Puffer bei Self-Distillation durch Lehrer-Schüler-Verschiebung ersetzen
Die Autoren berichten 42 Prozent weniger persistenten Speicher und bis zu 5,4 Punkte mehr Genauigkeit. Unabhängig bestätigt ist das bisher nicht.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Muon-RT eliminiert Momentum-Puffer für Hidden-Weight-Matrizen, indem es die Lehrer-Schüler-Verschiebung wiederverwendet.
- Für SDFT auf Qwen2.5-7B-Instruct: +2,6 Punkte durchschnittliche Genauigkeit gegenüber AdamW bei 42 % weniger persistentem Speicher.
- Die Autoren berichten für SDFT +5,4 Punkte gegenüber Momentum-Muon bei 27 % weniger persistentem Speicher.
- Für SDPO auf Olmo-3-7B-Instruct berichten die Autoren +2,0 Punkte durchschnittliche Genauigkeit gegenüber AdamW.
- Unter expliziten Regularitäts- und Alignment-Annahmen zeigen die Autoren lineare Kontraktion einer Schranke für die erwartete Zielfunktionslücke.
Muon-RT ersetzt den Momentum-Puffer durch die Lehrer-Schüler-Verschiebung
Ein neues Paper stellt „Muon with Reused Teacher“ (Muon-RT) vor, einen Optimierer für die Self-Distillation großer Sprachmodelle. Bei Verfahren mit EMA-Lehrer greift er auf die Verschiebung zwischen Lehrer- und Schülermodell zurück und verzichtet dadurch auf den Momentum-Puffer für Hidden-Weight-Matrizen. Die Angaben stammen laut Paper-Seite auf Hugging Face von den Autoren selbst.
Das Paper beschreibt die Ausgangslage als Doppelung. Ein EMA-Lehrer speichert bereits eine Historie der Schüler-Updates. Muon, ein Optimierer, der auf Matrix-Orthogonalisierung beruht, legt trotzdem einen eigenen Momentum-Puffer an. Das erhöht den persistenten Trainingsspeicher.
Nach Angaben der Autoren kodiert die Verschiebung eine exponentiell gewichtete Historie der angewendeten Updates. Unter einem lokalen Modell glättet sie zeitlich unkorreliertes Rauschen. Muon-RT entfernt deren radiale Komponente, normalisiert sie spektral und mischt sie nach der Newton-Schulz-Orthogonalisierung mit dem aktuellen Gradienten.
42 Prozent weniger Speicher, bis zu 5,4 Punkte mehr Genauigkeit: die Zahlen der Autoren
Alle Zahlen stammen ausschließlich von den Autoren. Beim Self-Distillation Fine-Tuning (SDFT) auf Qwen2.5-7B-Instruct verbessert Muon-RT die durchschnittliche Genauigkeit gegenüber AdamW um 2,6 Punkte. Der persistente Speicher sinkt dabei um 42 Prozent. Gegenüber Muon mit Momentum betragen die Angaben 5,4 Punkte mehr bei 27 Prozent weniger persistentem Speicher.
Bei der Self-Distillation Policy Optimization (SDPO) auf Olmo-3-7B-Instruct nennen die Autoren einen Zugewinn von 2,0 Punkten an durchschnittlicher Genauigkeit gegenüber AdamW.
Hinzu kommt eine theoretische Aussage. Unter expliziten Regularitäts- und Alignment-Annahmen zeigen die Autoren eine lineare Kontraktion einer Schranke für die erwartete Zielfunktionslücke bis zu einem Restfehlerniveau. Das gilt nur, soweit diese Annahmen in der Praxis zutreffen.
Keine unabhängige Bestätigung, Neuheit offen
Bislang liegt nur die Paper-Seite auf Hugging Face vor. Das Vollpaper, der Code und eine unabhängige Replikation mit identischen Basismodellen und Benchmarks fehlen. Die Ergebnisse lassen sich deshalb nicht überprüfen.
Ob die Idee gegenüber früheren speichersparenden oder momentum-freien Muon-Varianten neu ist, lässt sich dem Material nicht entnehmen.
Profitieren könnten Teams, die SDFT oder SDPO mit EMA-Lehrer betreiben, sofern sich die Resultate bestätigen. Handlungsbedarf besteht derzeit nicht.
