Axion 1.0: Agenten-Modell soll mit drei Trainingsstufen auskommen

Drei Stufen, rund 18.000 SFT-Beispiele

Ein Team der Duke University, von ByteDance, der University of Maryland und der University at Buffalo stellt mit Axion 1.0 ein Agenten-Foundation-Modell vor. Das Rezept besteht aus zwei leichten Stufen des überwachten Feintunings (SFT), auf die Reinforcement Learning (RL) folgt. Auf dediziertes Mid-Training, DPO und On-Policy-Distillation verzichten die Autoren. Das SFT umfasst rund 18.000 Beispiele.

Die erste Stufe baut die Daten modellbewusst auf. Aufgaben entstehen synthetisch und werden adversarial verschärft, und zwar anhand der erfolgreichen Lösungsstrategien des Basismodells. Die zweite Stufe greift auf automatisch verifizierbare, werkzeugabhängige Aufgaben aus realen Datenquellen und deterministischer Berechnung zurück. Das RL soll danach das langfristige Schlussfolgern sowie die Interaktion mit Werkzeugen und Umgebungen stärken.

Die Projektleitung hat Yunjie Tian von ByteDance. Der Code liegt unter github.com/bytedance/axion1_0, die Projektseite unter axion1-0.github.io. Die arXiv-Nummer des Papers lautet laut explainx.ai 2611.03233. Ob das Rezept gegenüber anderen offenen Ansätzen tatsächlich neu ist, lässt sich nicht beurteilen: Das Material enthält keinen Vergleich.

Benchmarks: 59,0 auf HLE, 62,2 auf SEAL-0 – teils mit selbst evaluierten Baselines

Für Axion 1.0-122B werden 59,0 Punkte auf dem vollen Humanity's Last Exam (HLE) berichtet, allerdings mit eingeschränktem Webzugriff. Auf der FrontierScience Olympiad erreicht das Modell 87,0, auf FrontierScience Research 66,7. Die 35B-Variante kommt auf 62,2 auf SEAL-0. Laut explainx.ai liegt sie damit über allen anderen Zeilen der Vergleichstabelle.

Die Autoren sehen Axion 1.0 auf mehreren Benchmarks mit führenden kommerziellen Modellen konkurrenzfähig. Das ist eine Herstellerangabe. Prüfbar ist sie bislang nur über Tabelle 1 des Papers.

Einschränkung: Das Axion-Team hat einige Baselines in Tabelle 1 selbst evaluiert. Sie sind mit einem Sternchen markiert. Die übrigen Werte stammen aus offiziellen Berichten, fehlende Angaben sind mit einem Strich gekennzeichnet. Eine unabhängige Reproduktion der Ergebnisse liegt nicht vor.

Das Paper führt außerdem 4B- und 9B-Varianten auf, die nur mit SFT trainiert wurden. Mit SFT und RL trainiert sind die Varianten mit 35B und 122B Parametern.

Der 35B-Checkpoint auf Hugging Face ist eine Community-Reproduktion

Das Paper bezeichnet Axion als „fully open“. Das Repository enthält tatsächlich eine breite Pipeline: Datengenerierung und -filterung, Prompts, zweistufiges SFT, asynchrones RL sowie Aufbereitung der Benchmarks und Grading.

Bei den Gewichten ist die Lage unklarer. Der Checkpoint Axion1-0/Axion-1.0-35B auf Hugging Face ist ausdrücklich eine Reproduktion der Community, kein offizieller Axion-Checkpoint. Das Modell-Repo stellt die Paperwerte den Ergebnissen dieser Reproduktion gegenüber. Ein Beitrag auf r/LocalLLaMA vom 4. November 2026 verlinkt den Checkpoint und gibt dessen Beschreibung im Wortlaut des Papers wieder, klärt die Herkunft aber nicht.

Ob offizielle Gewichte für 35B, 122B, 4B oder 9B existieren, belegt das Material nicht. Der Abschnitt zur Offenheit ist abgeschnitten. Denkbar ist, dass sich die Offenheit auf Daten und Rezept beschränkt.

Für den Betrieb des 35B-Checkpoints nennt die Anleitung vLLM mit tensor-parallel-size 8, bfloat16 und 131.072 Token Kontext. Angaben zu Lizenz, Datenschutz oder Souveränität enthält das Material nicht.