KI SpotlightNewsBYOD: Vier Sprachmodelle per LoRA in Diffusionsmodelle umwandeln
Die Autoren geben pro Umwandlung höchstens 102,4 Millionen Tokens und gut drei bis vier Stunden auf einer Colab-GPU an. Das beste Ergebnis liegt knapp unter LLaDA 8B Instruct.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- BYOD ist ein LoRA-only-Rezept zur AR-zu-DLM-Konvertierung ohne architekturspezifisches Tuning.
- Konvertiert wurden Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B und Ministral 8B; alle Basismodellparameter bleiben eingefroren.
- Adapter machen 4,1–5,8 % der finalen Parameter aus; Konvertierung braucht höchstens 102,4M Tokens.
- Alle vier Modelle generieren aus vollständig maskierten Sequenzen und behalten substanzielles Wissen des Ausgangsmodells.
- BYOD-Gemma erreicht 50,6 % Durchschnittsgenauigkeit auf der Neun-Aufgaben-Evaluation der Autoren; LLaDA 8B Instruct 51,9 %.
BYOD wandelt vier Sprachmodelle per LoRA in Diffusionsmodelle um
Die Autoren von BYOD (Build Your Own DLM) wollen autoregressive Sprachmodelle in Diffusionssprachmodelle überführen, ohne Pretraining und ohne Full-Model-Fine-Tuning. Laut dem Abstract auf Hugging Face ist das ein reines LoRA-Rezept für die parameter-effiziente Umwandlung von autoregressiven Modellen (AR) in Diffusionsmodelle (DLM). Architekturspezifisches Tuning ist nicht nötig.
Der Ansatz setzt an einem Gegensatz an. Diffusionsmodelle erlauben das parallele Aktualisieren von Tokens, flexible Generierung und bidirektionale Attention. Die führenden Systeme stützen sich nach Angaben der Autoren jedoch auf teures Pretraining oder Fine-Tuning des gesamten Modells.
Konvertiert wurden Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B und Ministral 8B. Alle Parameter der Basismodelle bleiben eingefroren. Nach Angaben der Autoren machen die Adapter 4,1 bis 5,8 Prozent der finalen Parameter aus. Jede Konvertierung über 25.000 Iterationen benötige höchstens 102,4 Millionen Tokens und dauere 3,1 bis 4,0 Stunden auf einer einzelnen Google-Colab-GPU. Diese Aufwandsangaben stammen allein aus dem Abstract. Unabhängig nachgemessen sind sie bislang nicht.
BYOD-Gemma erreicht 50,6 Prozent, LLaDA 8B Instruct 51,9 Prozent
Alle vier umgewandelten Modelle generieren laut den Autoren aus vollständig maskierten Sequenzen. In einem kontrollierten Attention-Test nutzen sie bidirektionalen Kontext. Außerdem behalten sie, so die Darstellung, substanzielles Wissen ihres Ausgangsmodells.
Das stärkste der vier umgewandelten Modelle ist BYOD-Gemma. Auf der Neun-Aufgaben-Evaluation der Autoren erreicht es 50,6 Prozent Durchschnittsgenauigkeit. LLaDA 8B Instruct kommt im selben Harness auf 51,9 Prozent. Der Abstand beträgt also 1,3 Prozentpunkte zugunsten von LLaDA. Die Zahlen stammen aus der Eigenevaluation der Autoren. Eine unabhängige Überprüfung gibt es nicht.
Als Hauptlimitation nennt der Abstract die Qualität offener Generierung bei niedrigem NFE-Budget, also bei wenigen Netzwerkauswertungen. Der entsprechende Satz ist im vorliegenden Material abgeschnitten. Einen Geschwindigkeitsgewinn belegt das Material ausdrücklich nicht. Angaben zu Tokens pro Sekunde oder zur Zahl der Denoising-Schritte fehlen.
Neuheitsanspruch der Autoren und was sich noch nicht prüfen lässt
Neu ist nach Ansicht der Autoren vor allem der rein LoRA-basierte, architekturunabhängige Weg ohne Pretraining und ohne Full-Model-Fine-Tuning. Ministral 8B sei nach ihrer Kenntnis zudem die erste berichtete AR-zu-DLM-Konvertierung eines Mistral-Modells.
AR-Initialisierung an sich ist dagegen nicht neu. Dream 7B nutzt sie laut Abstract als Trainingstechnik. Im Umfeld stehen außerdem RND1, in einer gepflegten dLLM-Liste als „Simple, Scalable AR-to-Diffusion Conversion“ geführt, und CoDA.
Offen bleibt vieles. Methodendetails, Code und Gewichte ließen sich nicht prüfen. Die Aussagen zu minimalen Trainingskosten und zur Abgrenzung von teurem Pretraining stammen von den Autoren. Eine unabhängige Reproduktion gibt es nicht.
