KI SpotlightNewsCMU-Team will Pretraining, SFT und RL mit einem einzigen Algorithmus trainieren
Das Paper „Training Foundation Models with a Single Algorithm“ fasst alle Trainingsphasen unter einem likelihood-basierten Ansatz zusammen. Die Ergebnisse stammen bislang nur von den Autoren selbst.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Paper "Training Foundation Models with a Single Algorithm" ist auf arXiv und Hugging Face einsehbar.
- Die Autoren ordnen Pretraining, Midtraining, SFT und RL einem likelihood-basierten Algorithmus unter, "unified training".
- Konventionelles gestuftes Training ist ein Spezialfall des Ansatzes.
- Die Autoren setzen das Framework in einem Trainer um, der statische Daten und RL-Generierungen mischt.
- Laut Abstract verbessert unified training Genauigkeit-Rechenaufwand-Kompromiss, Aufgabenabdeckung und Continual-Learning-Ausgangspunkt.
Ein Algorithmus für Pretraining, SFT und RL
Ein Team der Carnegie Mellon University (CMU) stellt das Paper „Training Foundation Models with a Single Algorithm“ vor. Es fasst Pretraining, Midtraining, Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) unter einem likelihood-basierten Algorithmus zusammen. Die Autoren nennen ihn „unified training“. Ihre These lautet, die algorithmische Trennung der Phasen sei nicht grundlegend. Das Paper ist auf arXiv und Hugging Face abrufbar.
Als Lead-Autor nennen Fachmedien Yuda Song (CMU). Beteiligt seien Forschende der Johns Hopkins University und von Aurora Innovation. Diese Angaben stammen aus Sekundärquellen. Die Autorenliste selbst liegt der Redaktion nicht vor.
Beim Veröffentlichungsdatum gehen die Quellen auseinander. Eine Fachpublikation nennt den 29. Oktober 2026, eine andere den 30. Oktober 2026 und führt die arXiv-ID 2610.40564 an. Ein Primärdatum, das die Frage klärt, liegt nicht vor. Einreichungs- und Listungsdatum oder Zeitzonen könnten die Abweichung erklären. Belegt ist das nicht.
RL als Maximum-Likelihood-Fitting: Die Datenmischung entscheidet
Den Kern bildet laut Abstract die Herleitung geeigneter RL-Ziele als Maximum-Likelihood-Fitting an modellgenerierte Zielverteilungen. RL folgt damit formal derselben Logik wie das Training auf statischen Daten. Alle Phasen lassen sich so über dieselbe Verlustfunktion abbilden.
Ein Sekundärbericht konkretisiert das. Demnach formulieren die Autoren RL-Updates als Likelihood-Fitting an erfolgsbedingte Verteilungen, mit einer Technik namens MaxRL. Jede Stufe läuft über einen gewichteten Negative-Log-Likelihood-Loss auf einer zeitlich veränderlichen Datenmischung.
Daraus folgt laut Abstract: Der Trainingslebenszyklus reduziert sich auf die Frage, welche Daten in welchem Anteil und zu welchem Zeitpunkt zum Einsatz kommen. Klassisches gestuftes Training ist darin ein Spezialfall. Umgesetzt haben die Autoren das in einem Trainingssystem, das statische Daten und RL-Generierungen in einem einzigen Trainer mischt.
Effizienz und Fähigkeitserhalt: bislang nur Selbstangaben
Nach Angaben der Autoren verbessert unified training in kontrollierten und realen Experimenten den Kompromiss aus Genauigkeit und Rechenaufwand sowie die Aufgabenabdeckung. Zudem erhalte es breitere Fähigkeiten und biete einen besseren Ausgangspunkt für Continual Learning. Das sind Selbstangaben aus dem Abstract. Konkrete Zahlen, Modellgrößen und Baselines liegen dem Material nicht bei. Belastbar wird das erst mit dem Volltext, veröffentlichtem Code und unabhängigen Replikationen.
Ob der Ansatz neu ist, bleibt offen. Hybrid Post-Training (HPT) und Group Fine-Tuning (GFT) führen SFT und RL schon in einem Rahmen zusammen, allerdings für das Post-Training. Das CMU-Paper weitet den Anspruch auf die Spanne vom Pretraining bis zum RL aus.
