KI SpotlightNewsShopify trainiert Nemotron 3.5 Lightning für Sidekick nach: 90 Prozent geringere Servingkosten laut eigener Benchmark
Shopify und NVIDIA nennen übereinstimmend eine siebenfache Geschwindigkeit für den GraphQL-Subagenten. Benchmark und Vergleichsmodell sind nicht veröffentlicht. Die Angaben lassen sich daher nicht unabhängig prüfen.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Shopify post-trainierte NVIDIA Nemotron 3.5 Lightning für den GraphQL-Subagenten von Sidekick.
- Laut Shopify erreicht das Modell etwas höhere Werte, antwortet siebenmal schneller und kostet rund 90 % weniger.
- Sidekick läuft auf einem Frontier-Modell; mehrere Subagenten nutzen post-trainierte offene Modelle.
- Shopify kontrolliert die Gewichte, kann auf eigenen GPUs betreiben und entscheidet über Änderungen.
- Für das Post-Training nutzt Shopify laut NVIDIA Megatron Bridge und NeMo RL.
Shopify setzt für Sidekicks GraphQL-Subagenten auf nachtrainiertes Nemotron 3.5 Lightning
Shopify hat NVIDIA Nemotron 3.5 Lightning für den GraphQL-Subagenten von Sidekick nachtrainiert. Sidekick ist der KI-Assistent für Händler. Der Subagent ruft Shop-Daten für mehrere Sidekick-Funktionen ab, unter anderem für Sidekick Pulse. Dieses Feature untersucht den Shop eines Händlers und schlägt Verbesserungen vor.
Shopify beschreibt das Ergebnis in seinem Engineering-Blog. NVIDIA erwähnt es im Rahmen der GTC Berlin. Beide Seiten nennen denselben Anwendungsfall und dieselben Werte: Das nachtrainierte Modell liege bei dieser Aufgabe etwas über dem Frontier-Modell, antworte siebenmal schneller und koste im Betrieb rund 90 Prozent weniger.
Die Übereinstimmung ist allerdings kein unabhängiger Beleg. Beide Darstellungen beruhen auf Shopifys interner Benchmark. Welches Frontier-Modell als Vergleich diente, geben sie nicht an. Solange Benchmark, Bewertungsraster und Vergleichsmodell unveröffentlicht sind und niemand die Messung wiederholt hat, bleiben die Zahlen Herstellerangaben.
Warum Shopify den Subagenten selbst betreibt: 40 gelesene Tokens je geschriebenem Token
Die Ersparnis begründet Shopify mit der Architektur. Laut Unternehmen läuft Sidekick auf einem Frontier-Modell, das mit dem Händler spricht, die Arbeit plant und Werkzeuge aufruft. Fokussierte Aufgaben delegiert es an Subagenten, von denen mehrere post-trainierte offene Modelle nutzen.
Der GraphQL-Subagent liest laut Shopify das API-Schema und durchsucht die Dokumentation. Er schreibt eine Abfrage, führt sie aus und liefert das Ergebnis. Dabei lese er etwa 40 Tokens pro geschriebenem Token. Eine Frontier-API berechnet jedes dieser Tokens, und bei einer kontextlastigen Aufgabe wird das teuer. Shopify kontrolliert zudem die nachtrainierten Gewichte. Das Modell läuft auf eigenen GPUs, und Shopify entscheidet selbst, wann es sich ändert.
Beim Post-Training setzen Shopifys Ingenieure laut NVIDIA auf die Bibliothek Megatron Bridge für schnelleres Fine-Tuning und auf NeMo RL für Reinforcement Learning. Shopify beschreibt außerdem die Optimierer GEPA und ACE. Mit ihnen wird ein LLM-Judge abgestimmt, der die Qualität bewertet.
NVIDIA nennt fünf weitere Shopify-Fälle mit bis zu 12x geringeren Inferenzkosten
Über Sidekick hinaus nennt NVIDIA fünf weitere Anwendungsfälle: Katalog-Anreicherung, Händler-Assistent, E-Commerce-Shopping-Simulation, Produkttaxonomie-Klassifikation sowie Händler- und Käuferempfehlungen. Dort habe Shopify mit der vLLM-Inferenzoptimierungssoftware CCluster eine 4,5-fach schnellere Leistung und bis zu 12-fach geringere Inferenzkosten erreicht. Diese Angabe stammt allein von NVIDIA. Eine zweite Quelle liegt nicht vor.
Als weiteren Anwendungsfall führt NVIDIA ein Fulfillment-Center an. Dort wird das Zusammenspiel mehrerer Robotikflotten in einem digitalen Zwilling simuliert. Angaben zur Software, zu den Flotten und zum Kunden fehlen im vorliegenden Material. Anlass der Mitteilung ist die GTC Berlin am 21. und 22. Oktober.
