Cerebras bringt Gemma 4 31B auf über 1.800 Tokens pro Sekunde

Cerebras erreicht mit Gemma 4 31B über 1.800 Tokens pro Sekunde

Cerebras hat das offene multimodale Modell Gemma 4 31B von Google DeepMind auf seiner Inferenz-Hardware in Betrieb genommen. Nach Cerebras-Angaben erreicht es eine Geschwindigkeit von über 1.800 Tokens pro Sekunde. In einem Blogbeitrag des Unternehmens wird zudem eine Rate von rund 2.300 Tokens pro Sekunde genannt. Cerebras zufolge ist Gemma 4 das erste offene multimodale Modell, das die 2.000-Token-Marke durchbricht (Herstellerangabe). Das Unternehmen verweist auf eigene Benchmarks mit weiteren Open-Weight-Modellen wie Kimi, GLM, GPT-OSS und Qwen. Gemma 4 ist das erste Google-DeepMind-Modell auf der Wafer-Scale-Plattform. Laut Cerebras erlaubt es Entwicklern erstmals, Bilder – darunter Screenshots, Dokumente, Diagramme und UI-Zustände – in ein Modell auf Wafer-Scale-Hardware einzuspeisen (Herstellerangabe). Dadurch erschließe sich eine neue Klasse multimodaler Anwendungen, etwa für Computersteuerung oder bildgesteuerte agentische Workflows (Herstellerangabe). Die Angabe von rund 2.300 Tokens pro Sekunde stammt aus einem separaten Blogbeitrag, in dem Cerebras die Entwicklung multimodaler Anwendungen beschreibt. Die genauen Messbedingungen für die unterschiedlichen Geschwindigkeitsangaben wurden nicht veröffentlicht. Cerebras hat nach eigenen Angaben eine einwöchige Entwicklungsphase durchgeführt, um die multimodalen Fähigkeiten zu demonstrieren.

Multimodale Anwendungen und Geschwindigkeitsunterschiede

In einer einwöchigen Entwicklungsphase hat Cerebras nach eigenen Angaben drei multimodale Anwendungen mit Gemma 4 realisiert: Dokumentenverarbeitung, Bildverständnis und Videoanalyse. Der zugehörige Blogbeitrag beschreibt die Entwicklung und die dabei gewonnenen Erkenntnisse. Dabei wurden laut Hersteller rund 2.300 Tokens pro Sekunde erreicht. Cerebras verwendet für seine Tests das 31 Milliarden Parameter umfassende Modell. Die genannten Geschwindigkeiten – über 1.800 beziehungsweise etwa 2.300 Tokens pro Sekunde – lassen sich nicht direkt vergleichen, da die jeweiligen Testbedingungen nicht veröffentlicht wurden. Ein Nutzerbericht zeigt, dass das Modell auf einem dreizehn Jahre alten Server ohne GPU, ausgestattet mit zwei Ivy-Bridge-Xeons, mit etwa fünf Tokens pro Sekunde läuft – kaum schneller als menschliches Lesen. Dabei handelte es sich um die 26 Milliarden Parameter große Variante, die auf einer Mixture-of-Experts-Architektur basiert. Die hohen Inferenzraten werden auf Cerebras’ spezialisierter Wafer-Scale-Architektur erzielt und sind auf gewöhnlicher Hardware nicht reproduzierbar. Die Leistungsunterschiede zeigen, dass die Inferenzgeschwindigkeit stark von der verwendeten Hardware abhängt.