DiffusionGemma: Googles experimentelles Sprachmodell generiert Text parallel in 256-Token-Blöcken

DiffusionGemma: Textgenerierung in 256-Token-Blöcken

Google hat mit DiffusionGemma ein experimentelles Open-Weight-Sprachmodell vorgestellt, das Text nicht sequenziell Token für Token, sondern parallel in Blöcken von 256 Tokens generiert. Statt wie herkömmliche autoregressive Modelle jedes Token nacheinander zu dekodieren, nutzt DiffusionGemma einen diskreten Diffusionsprozess: Ausgehend von einem zufälligen Token-Block wird dieser in mehreren Durchläufen iterativ verfeinert, wobei alle 256 Positionen gleichzeitig aktualisiert werden. Dadurch wird der inhärente Engpass der sequenziellen Dekodierung umgangen, was zu einer außergewöhnlich hohen Generierungsgeschwindigkeit führt. Das Modell basiert auf dem Mixture-of-Experts-Modell Gemma 4, das nach Herstellerangaben 3,8 Milliarden aktivierte und insgesamt 25,2 Milliarden Parameter besitzt. Anstatt ein Sprachmodell von Grund auf neu zu trainieren, wurde DiffusionGemma durch Feinabstimmung von Gemma 4 gewonnen. Das recheneffiziente zweistufige Training nutzt die vortrainierten Gewichte und passt sie für die diffusionsbasierte Textgenerierung an. Wie der zugehörige Technical Report beschreibt, ermöglicht dieser Ansatz eine deutliche Reduzierung des Rechenaufwands im Vergleich zu einem vollständigen Training. Die parallele Blockverarbeitung vermeidet Wartezeiten, die bei autoregressiven Modellen durch die sequenzielle Abhängigkeit entstehen, und steigert so die Inferenzgeschwindigkeit erheblich. Durch die gleichzeitige Aktualisierung aller Token-Positionen entfällt die Notwendigkeit, auf vorherige Tokens zu warten, was die Latenz drastisch reduziert. Die Verwendung eines vortrainierten Modells als Basis erlaubt es, die Stärken der Gemma-4-Architektur zu nutzen und gleichzeitig die Vorteile der diskreten Diffusion zu erschließen.

vLLM-Unterstützung und Apache-2.0-Lizenz

DiffusionGemma ist das erste diffusionsbasierte Sprachmodell (dLLM), das in die Inferenz-Plattform vLLM integriert wurde. Es basiert auf dem Gemma-4-Backbone und wird in der vLLM-Dokumentation als 26-Milliarden-Parameter-Modell geführt. Gleichzeitig ist es Googles erstes quelloffenes, diffusionsbasiertes Sprachmodell und steht unter der freizügigen Apache-2.0-Lizenz, die kommerzielle Nutzung, Modifikation und Weitergabe erlaubt. Die Lizenzwahl und die vLLM-Unterstützung senken die Hürden für den praktischen Einsatz erheblich, da Entwickler auf eine etablierte Serving-Infrastruktur zurückgreifen können. Ein geringfügiger Widerspruch besteht bei der Parameterzahl: Während der Technical Report 25,2 Milliarden Gesamtparameter angibt, spricht die vLLM-Integration von 26 Milliarden – vermutlich eine Rundung. Die Integration in vLLM erfolgte als erstes dLLM überhaupt und unterstreicht das Potenzial der diskreten Diffusion für schnelle Textgenerierung. Damit können Entwickler nun auch diffusionsbasierte Modelle in derselben Umgebung betreiben, die sie bereits für autoregressive Modelle nutzen. Die Apache-2.0-Lizenz stellt zudem sicher, dass das Modell frei verwendet und angepasst werden kann. Insgesamt erleichtert die vLLM-Unterstützung den produktiven Einsatz von DiffusionGemma erheblich und macht diffusionsbasierte Sprachmodelle für eine breite Anwendung zugänglich.