NVIDIA beschreibt AICR: validierte Rezepte für Dynamo auf Kubernetes

AICR bündelt Dynamo und Kubernetes-Infrastruktur in validierten Rezepten

NVIDIA erklärt in einem Walkthrough, wie AI Cluster Runtime (AICR) NVIDIA Dynamo und die nötige Kubernetes-Infrastruktur in validierten Rezepten zusammenfasst. AICR gehört laut NVIDIA zur DSX AI Factory Platform. Ein Rezept beschreibt eine Konfiguration für eine bestimmte Umgebung und einen bestimmten Workload. Es legt gepinnte Komponentenversionen fest, dazu Kompatibilitätsregeln und Validierungschecks. Zur Infrastruktur gehören GPU Operator, Scheduling, Monitoring und Ingress.

Angesprochen sind Plattformteams, die verteilte Dynamo-Inferenz auf Kubernetes betreiben. Bevor Anwendungsteams sich um die Modellleistung kümmern können, müssen GPU-Treiber, Ressourcenzuteilung, Scheduling, Netzwerk, Monitoring und Request-Routing zusammenspielen. Die Rezepte sollen genau diese Schicht festschreiben.

Es handelt sich um eine Erklärung, nicht um die Ankündigung eines neuen Produkts. Die AICR-Release-Notes (v0.21.0) zeigen, dass das Projekt bereits länger existiert. Ob die Paketierung gegenüber früheren Veröffentlichungen inhaltlich neu ist, lässt sich dem Material nicht entnehmen.

Was in einem Rezept steckt und wie NVIDIA es absichert

Laut Bericht enthalten die Rezepte unter anderem den NVIDIA GPU Operator, Node Feature Discovery, den DRA-Treiber für NVIDIA-GPUs, KAI Scheduler, Grove, NVSentinel und Nodewright für die Node-Gesundheit, Prometheus-Metriken sowie Ingress über Gateway API oder agentgateway. Dynamo-Frontends und -Worker nutzen vLLM, SGLang oder TensorRT LLM.

Nach der Beschreibung im GitHub-Repository erfasst AICR bekannte, funktionierende Kombinationen aus Treibern, Operatoren, Kernels und Systemkonfigurationen. Es veröffentlicht sie als versionsgesperrte Artefakte für Helm, Argo CD, Flux und Helmfile. Vor der Veröffentlichung durchläuft jedes Rezept automatisierte Constraint- und Kompatibilitätschecks.

Außerdem gibt es kryptografische Nachweise. Die Herkunft ist von NVIDIA CI signiert und lässt sich offline prüfen. Bei Rezepten mit veröffentlichter Evidenz wird das aufgezeichnete Validierungsergebnis zusätzlich signaturgebunden attestiert. Die Dokumentation liegt unter docs.nvidia.com/aicr.

Der aktuelle Stand v0.21.0 bringt GB300-Rezepte, Preview-Overlays für Vera Rubin (VR200) auf RKE2, GPU Operator v26.7.0 und dynamo-platform 1.4.2.

Ab Dynamo 1.4 ohne NATS: zwei validierte Routing-Topologien

Ab Dynamo 1.4 finden Services einander über Kubernetes-Ressourcen. Im Standard-Deployment entfällt NATS. In AICR v0.21.0 nutzt die Request Plane standardmäßig TCP, KV-Events laufen über ZMQ, und ein gebündeltes NATS wird nicht mehr ausgeliefert.

Eine Mindestversion von Dynamo für AICR nennt das Material nicht ausdrücklich. Sie lässt sich nur indirekt ableiten: Der Bericht spricht von Dynamo 1.4, und v0.21.0 setzt dynamo-platform 1.4.2 ein.

AICR validiert zwei Routing-Topologien. Beschrieben ist allerdings nur die erste. Hier arbeitet das Dynamo-Frontend als Router im KV-aware-Modus. Es tokenisiert jede Anfrage und bewertet die Worker nach ihrem Prefix-Cache. So soll verhindert werden, dass bereits berechnete Prefixe erneut verarbeitet werden.

Dynamo ist ein Open-Source-Framework unter Apache 2.0. Es orchestriert oberhalb von vLLM, SGLang und TensorRT-LLM und ersetzt diese Engines nicht.

Herstellerangaben: Wiederholbarkeit ist nur behauptet

Vieles in der Darstellung ist Anspruch von NVIDIA. Das Unternehmen stellt AICR als wiederholbaren Deployment-Weg für Plattformteams in Aussicht. Ohne solche Rezepte, so die Argumentation, fließe Zeit in das Auflösen der Infrastrukturabhängigkeiten statt in Modell-, Performance- und Anwendungstests. Zahlen zu Deployment-Zeiten oder Fehlerraten liegen nicht vor. Der Nutzen ist damit nicht gemessen.

Auch die Formulierung „The Operating System of AI“ für Dynamo ist Herstellerwerbung. Gleiches gilt für das Versprechen, internes Validierungswissen allen zugänglich zu machen.

NVIDIA gibt an, GB300 NVL72 steigere mit Dynamo den Durchsatz bei MoE-Modellen um bis zu 50x gegenüber Hopper-Systemen. Die Angabe stützt sich laut NVIDIA auf „unabhängige Benchmarks“, die jedoch nicht benannt werden. Zudem vergleicht sie Hardware und Software zusammen. Sie beschreibt damit keinen Effekt von AICR.