KI SpotlightNewsLongZero: Sprachmodell erzeugt seine Long-Context-Trainingsaufgaben selbst
Die Methode trainiert per GRPO ohne externe Daten. Die Leistungsangaben stammen bislang allein von den Autoren, eine unabhängige Replikation liegt nicht vor.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- LongZero kombiniert selbst geschriebene Multi-Hop-Reasoning- und Multi-Round-Retrieval-Aufgaben.
- Bei Reasoning-Daten schreibt die Policy eine World Specification und plant Dokumente.
- Trainiert wird per GRPO nur auf Fragen, die das Modell inkonsistent beantwortet.
- Laut Autoren übertrifft LongZero beide Baselines auf zwei LLMs und fünf Benchmarks.
- Ein öffentliches GitHub-Repository mit Trainingscode existiert unter dem Konto zhennan1.
Frage, Antwort und Belege entstehen im Modell selbst
LongZero soll Sprachmodelle befähigen, lange Kontexte besser zu verarbeiten, ohne externe Daten zu benötigen. Zuerst schreibt das Modell Frage, Antwort und Belege in knapper, strukturierter Form. Erst danach baut es die Belege getrennt davon zu einem langen Kontext aus mehreren Dokumenten aus. Bestehende Dokumente, zu denen Fragen formuliert werden, nutzt die Methode also nicht.
Das Verfahren kombiniert zwei Aufgabentypen: selbst verfasste Multi-Hop-Reasoning-Aufgaben und selbst verfasste Multi-Round-Retrieval-Aufgaben. Bei den Reasoning-Daten legt die Policy zunächst eine „World Specification“ fest und plant, welches Dokument welchen Fakt nennt. Daraus entstehen lange Dokumente. Die Retrieval-Daten bestehen aus langen Konversationen, die aus den eigenen Antworten der Policy zusammengesetzt werden.
Behalten werden nur Fragen, die das Modell inkonsistent beantwortet. Mit diesen trainiert es per GRPO, einem Reinforcement-Learning-Verfahren. Externe Daten kommen nicht zum Einsatz.
Abgrenzung zu LoongRL und QwenLong-L1 nach Darstellung der Autoren
Neu sei nach Darstellung der Autoren die Übertragung von „RL from zero data“ auf lange Kontexte. Bisherige Zero-Data-Ansätze, bei denen ein Modell aus selbst vorgeschlagenen Aufgaben lernt, zielten demnach auf Kurzkontext. Bestehende Synthesemethoden für Long-Context-RL bräuchten externe Korpora oder stärkere Lehrermodelle. Diese ließen sich mit wachsender Modellstärke schwerer beschaffen. Die Abgrenzung stammt von den Autoren selbst.
QwenLong-L1 passt Kurzkontext-Reasoning-Modelle durch progressives Kontext-Scaling an. Auf ein SFT-Warm-up folgt ein curriculum-gesteuertes, phasenweises RL. Ergänzt wird es durch schwierigkeitsbewusstes Retrospective Sampling. LoongRL ist ein GRPO-basiertes Framework für Long-Context-QA und Mathematik. Seine Datenpipeline KeyChain erzeugt UUID-basierte Multi-Hop-QA-Instanzen mit Distraktoren.
Laut Autoren liegt LongZero vor beiden Baselines, eine unabhängige Prüfung fehlt
Die Autoren evaluieren LongZero an zwei LLMs und fünf Long-Context-Reasoning-Benchmarks. Verglichen wird mit RL auf Daten, die aus externen Korpora synthetisiert wurden. Nach ihren Angaben generalisiert LongZero auf reale Aufgaben und übertrifft beide Baselines. Dabei handelt es sich um eine Eigenangabe.
Offen bleibt das Ausmaß des Vorsprungs. Benchmark-Zahlen, Modellnamen und die Namen der fünf Benchmarks liegen im vorliegenden Material nicht vor. Aussagen zu LongBench-Ergebnissen sind daher nicht möglich. Eine unabhängige Replikation gibt es bislang nicht.
Prüfbar ist das Verfahren grundsätzlich. Ein öffentliches GitHub-Repository unter dem Konto zhennan1 enthält den Trainingscode. Dokumentiert sind Linux, Python 3.12, CUDA, PyTorch 2.9.0+cu128, vLLM 0.11.1 und FlashAttention 2.8.3 sowie ein verl-Snapshot je Modell. Dritte können die Ergebnisse damit nachvollziehen.
