NVIDIA bringt Groq 3 LPX in die Vollproduktion – erste Benchmarks und erster Kunde

Vollproduktion des Groq 3 LPX gestartet – erste Benchmarks und erster Kunde benannt

NVIDIA hat den Inferenz-Beschleuniger Groq 3 LPX in die volle Produktion überführt. Das gab das Unternehmen auf der Hot-Chips-Konferenz bekannt. Der Beschleuniger ist als Rack-Einheit für die Vera-Rubin-Plattform konzipiert und zielt auf niedrige Latenz bei agentischen KI-Workloads. Erste unabhängige Messungen von Artificial Analysis liegen vor: Mit dem Modell Gemma 4 31B bei 100K Kontext wurden 3.431 ausgegebene Token pro Sekunde gemessen. NVIDIA rundet den Wert teils auf 3.400 und gibt an, damit viermal schneller zu sein als der nächstschnellste öffentliche Endpoint. Das Unternehmen bezeichnet das Ergebnis als Weltklasse-Interaktivität – eine Herstellerangabe, die nicht unabhängig verifiziert ist. Als erster Kunde wird der KI-Cloud-Anbieter Nebius genannt, der den Beschleuniger über seine Produktions-Inferenzplattform einsetzen will. Der Schritt markiert den Übergang von der Ankündigung zur Serienfertigung. Die Messung stammt aus dem 100K-Kontext-Benchmark, der für agentische Workloads mit langen Kontexten relevant ist.

Technische Architektur: 256 SRAM-basierte LPU-Chips ohne HBM

Ein Groq-3-LPX-Rack besteht aus 256 SRAM-basierten LPU-Chips. Jeder LP30-Chip verfügt über rund 500 Megabyte On-Die-SRAM und kommt ohne High-Bandwidth-Memory (HBM) aus. Ein voll bestücktes Rack mit 256 Chips erreicht damit 128 Gigabyte Speicher und eine aggregierte Bandbreite von 40 Petabyte pro Sekunde. Die Rechenleistung gibt NVIDIA mit 315 PFLOPS bei FP8 an. Die Chip-zu-Chip-Latenz liegt bei 350 Nanosekunden. Das System ist flüssigkeitsgekühlt und im MGX-Format aufgebaut; es ist kompatibel mit Vera Rubin und lässt sich über mehr als 1.000 LPUs skalieren. Der Verzicht auf HBM ist zentral: Die Modellgewichte bleiben im SRAM, statt aus HBM gestreamt zu werden, was die Latenz beim einzelnen Token-Decode reduziert. Die Architektur wurde von Igor Arsovski präsentiert, der zuvor Chief Architect bei Groq war. Die Angaben stammen aus der Hot-Chips-Präsentation. Die Skalierbarkeit über 1.000 LPUs zeigt die Ausrichtung auf große Installationen. Die deterministische Pipeline, die später erläutert wird, ist Teil dieses Designs.

Benchmark-Ergebnisse und umstrittener Leistungsvergleich

Artificial Analysis hat auf Groq 3 LPX mit Gemma 4 31B bei 100K Kontext 3.431 Output-Tokens pro Sekunde gemessen. NVIDIA rundet den Wert teils auf 3.400 – vermutlich aus Gründen der Vereinfachung oder weil die Messung eine gewisse Unsicherheit aufweist. Das Unternehmen gibt an, damit viermal schneller zu sein als der nächstschnellste öffentliche Endpoint, der 870 Tokens pro Sekunde erreiche. Für Kunden bedeutet diese Geschwindigkeit im praktischen Einsatz deutlich kürzere Wartezeiten bei der Token-Generierung, was insbesondere für interaktive und agentische Anwendungen mit vielen aufeinanderfolgenden Inferenzschritten relevant ist. Dieser Vergleich ist jedoch umstritten. Experten bemängeln, dass die Systemgrößen nicht normalisiert werden: Für das Ergebnis kommen 64 LPX-Chips zum Einsatz, während Konkurrenzsysteme wie Cerebras mit einem oder zwei Beschleunigern auskommen. NVIDIA vergleicht damit ein Rack gegen einen Einzelbeschleuniger. Der Vergleich sei daher unfair, heißt es. Die unabhängige Messung ist der erste Drittanbieter-Benchmark für das System. NVIDIA selbst spricht von Weltklasse-Interaktivität, definiert aber keinen Standard für diese Bewertung. Der Vergleich mit Cerebras ist besonders relevant, da Cerebras ebenfalls auf schnelle Token-Generierung setzt. NVIDIA nennt keine Details zur Normalisierung der Systemgrößen.

Integration in Vera Rubin: Arbeitsteilung zwischen GPU und LPU

Groq 3 LPX arbeitet in der Vera-Rubin-Plattform arbeitsteilig mit den Rubin-GPUs. Dabei kommt External-Drafter Speculative Decoding zum Einsatz. Das Funktionsprinzip: Ein externer „Drafter“ – in diesem Fall die LPU – schlägt schnell eine Sequenz von Token vor. Die Rubin-GPUs prüfen diese Vorschläge dann parallel und verifizieren sie, statt jeden Token einzeln zu decodieren. Dadurch wird die Latenz reduziert, weil die GPU nicht auf jeden einzelnen Decode-Schritt warten muss. Konkret übernehmen die Rubin-GPUs rechenintensive Aufgaben wie Prefill und Attention, während die LPUs die latenzempfindliche FFN- und MoE-Decode beschleunigen. Diese Aufteilung soll hohe Interaktivität mit hohem Durchsatz verbinden. NVIDIA gibt an, dass Vera Rubin NVL72 mit LPX bis zu 35-mal höheren Durchsatz pro Megawatt für Billionen-Parameter-Modelle liefert. An anderer Stelle nennt das Unternehmen jedoch 30-mal höheren Durchsatz pro Megawatt. Dieser Widerspruch wird nicht aufgelöst. Zusätzlich spielt die Software DSX MaxLPS eine Rolle: Sie verschiebt Leistung zwischen Racks je nach Workload-Nachfrage. Dadurch kann ein Betreiber ungenutzten Strom („stranded power“) zurückgewinnen und bis zu 40 Prozent mehr GPUs im selben Standort-Strombudget bereitstellen, was zu 35 Prozent höherem Token-Durchsatz führt. Die Co-Design-Architektur nutzt HBM für große Kontexte und SRAM für schnelle Decode. NVIDIA beschreibt Vera Rubin NVL72 als vielseitigste Maschine, die je gebaut wurde – eine subjektive Einschätzung des Herstellers.

Geschäftlicher Kontext: 20-Milliarden-Dollar-Deal und Fertigung bei Samsung

NVIDIA hat im Dezember 2025 für rund 20 Milliarden US-Dollar Technologielizenzen und das Kernteam von Groq übernommen, ohne Groq als Unternehmen zu kaufen. Der zuvor geplante Rubin CPX wurde aus der Roadmap genommen und durch Groq 3 LPX ersetzt. Die Fertigung des Beschleunigers erfolgt bei Samsung Electronics Foundry am Standort Pyeongtaek im 4-Nanometer-Prozess. Für die Inferenz listet NVIDIA drei Preisstufen, die unterschiedliche technische Kapazitäten repräsentieren: Die Free-Stufe für 0 US-Dollar umfasst das Modell Qwen-3 mit 235 Milliarden Parametern und einem KV-Cache von 32K Tokens – geeignet für einfachere Aufgaben mit kurzem Kontext. Die Medium-Stufe für 3 US-Dollar bietet Kimi K2.5 mit 1 Billion Parametern und 128K KV-Cache, was größere Modelle und längere Kontexte ermöglicht. Die High-Stufe für 6 US-Dollar nutzt GPT-MoE mit 2 Billionen Parametern und richtet sich an Anwendungen mit maximalem Durchsatz und umfangreichem Kontext. Kunden wählen die Stufe je nach benötigter Modellgröße, Kontextlänge und Interaktivität. Der Deal umfasst laut NVIDIA auch die Übernahme von Gründer Jonathan Ross und President Sunny Madra. NVIDIA-CEO Jensen Huang sagte, Inferenz sei der Wachstumsmotor der KI. Die Übernahme wurde als Lizenzdeal strukturiert, nicht als Unternehmenskauf. Der Wechsel von Rubin CPX zu LPX markiert eine strategische Neuausrichtung: Statt eines GPU-Varianten für Long-Context-Inferenz setzt NVIDIA auf einen SRAM-basierten Beschleuniger. Die Produktion läuft vollständig über Samsung Foundry.

Regulatorische Prüfung und Marktreaktionen

Die Übernahme von Groq-Technologie durch NVIDIA ist auf dem Radar des US-Justizministeriums, berichtet The Register. Ob daraus ein formelles Verfahren wird, ist offen. Am Tag der Produktionsankündigung schloss die NVIDIA-Aktie den siebten Handelstag in Folge im Minus – die längste Verlustserie seit September 2022. Der Markt reagierte damit verhalten auf die Nachricht. Die Gründe für die Kursverluste liegen vermutlich in Zweifeln an der Wirtschaftlichkeit: Die Premium-Token-Preise für die Inferenzstufen müssen die hohen Investitionen in spezialisierte Hardware decken, und ob sich das für Betreiber rechnet, ist unklar. Zusätzlich belasten regulatorische Risiken: Selbst wenn die DOJ-Prüfung den Deal nicht rückgängig macht, könnten Auflagen die Integration erschweren. Zugleich erhöht der Einstieg in den Low-Latency-Inferenzmarkt den Druck auf Konkurrenten wie Cerebras, AMD und Intel, die ebenfalls Beschleuniger für schnelle Token-Generierung anbieten. The Register weist darauf hin, dass selbst bei einer Entflechtung bereits Alternativen bereitstünden. Die längste Verlustserie seit September 2022 deutet auf Skepsis gegenüber den wirtschaftlichen Annahmen hin.

Architekturphilosophie und Bedeutung für agentische KI

Die Groq-3-LPX-Architektur verzichtet auf Cache, Branch Prediction und Out-of-Order Execution. Stattdessen setzt sie auf eine deterministische, vom Compiler geplante Pipeline. Dadurch entfallen Latenzquellen, die bei herkömmlichen Prozessoren unvorhersehbare Verzögerungen verursachen. Die Modellgewichte bleiben im SRAM, was die Speicherzugriffslatenz beim Decode minimiert. NVIDIA begründet diesen Ansatz mit dem Bedarf agentischer Systeme: Sie verbrauchen nach Angaben des Unternehmens bis zu 15-mal mehr Tokens als traditionelle KI-Anwendungen. Für solche Workloads ist eine stabile, vorhersagbare Token-Latenz wichtiger als maximale Rohleistung. Die deterministische Ausführung soll Jitter minimieren und stabile Latenz pro Token liefern. Strategisch positioniert NVIDIA den LPX damit für den wachsenden Inferenzmarkt, in dem niedrige Latenz und hohe Interaktivität zu einem entscheidenden Differenzierungsmerkmal werden. Der Verzicht auf HBM ist Teil dieser Philosophie: Gewichte bleiben on-die, statt über externe Speicher gestreamt zu werden. Die Architektur wurde von Groq entwickelt und von NVIDIA übernommen. Für den Inferenzmarkt bedeutet das eine Verschiebung hin zu spezialisierten Beschleunigern, die auf agentische Workloads mit langen Kontexten und vielen Inferenzschritten zugeschnitten sind.