NVIDIA AICR soll Kubernetes-Cluster für Vera Rubin NVL72 am ersten Tag bereit machen

AICR bündelt Kubernetes-Konfigurationen in Rezepten für Vera Rubin

NVIDIA stellt den AI Cluster Runtime (AICR) als Teil der DSX AI Factory Platform vor. Das Werkzeug hält abgestimmte Konfigurationen in wiederverwendbaren Rezepten fest. Daraus erzeugt es Bundles für bestehende Deployment-Tools und prüft anschließend den laufenden Cluster. Das Ziel sind Kubernetes-Umgebungen, die für Vera Rubin NVL72 Compute Trays am ersten Tag einsatzbereit sind.

Das Problem beschreibt NVIDIA so: Neue GPU-Hardware in Kubernetes einzurichten sei aufwendig und fehleranfällig. Treiber, Kernel, Runtimes, Netzwerk, Operatoren und Scheduler müssen zusammenspielen. Schon kleine Abweichungen könnten Workloads verhindern oder die Leistung begrenzen. Rezepte sollen die Abstimmung reproduzierbar und überprüfbar machen.

Den Day-1-Anspruch erhebt allein NVIDIA. Ein unabhängiger Nachweis liegt nicht vor. Prüfbar wäre er erst über Praxisberichte von Betreibern, Release-Notes und Qualifizierungsnachweise.

Der zugehörige Entwicklerblog behandelt, was auf früher Hardware mit dem GPU Operator und einem DRA-Treiber (Dynamic Resource Allocation) mit Vera-Rubin-Unterstützung validiert wurde. Außerdem beschreibt er, was sich für Betreiber von GB200 NVL72 ändert.

Operator-Dokumentation nennt Kubernetes 1.34, Argo CD und ein Upgrade-Flag

Die Dokumentation eines Operators auf docs.nvidia.com beschreibt, wie AICR in Rollouts eingesetzt wird. Der Operator verwaltet den GPU-Stack über Argo CD Applications. Er arbeitet mit AICR- und Validator-Images, die per Digest festgelegt sind.

Als Kubernetes-Untergrenze nennt die Dokumentation Version 1.34. Sie ist die erste mit DRA `resource.k8s.io/v1` als GA. Der Operator stützt sich auf Argo CD v3.4.2. Zusätzlich deklariert jedes Rezept eine eigene Kubernetes-Bedingung, die AICR prüft.

AICR v1.0.x existiert. Die v1-Schnittstellen sind bis v2 eingefroren. AICR v2 braucht einen neuen Operator. Ein Profil gilt erst als unterstützt, wenn es auf echter Hardware gelaufen ist und die Nachweise veröffentlicht sind. Simulatoren wie envtest und kind belegen laut Dokumentation nur das Verhalten des Operators.

Beim Upgrade des Operators mit AICR v1.0.x ist `--force-conflicts` nötig. AICR labelt die Discovery- und Validation-Namespaces um. Daraufhin meldet Helm 4 einen Server-Side-Apply-Konflikt beim Label `app.kubernetes.io/managed-by`.

Früher Zugang oder volle Produktion? Die Quellen zeichnen Vera Rubin unterschiedlich

Beim Reifegrad von Vera Rubin widersprechen sich die Quellen. Der AICR-Blog schreibt, es sei für Vera Rubin noch früh. Er stützt sich auf Validierungen auf Hardware mit frühem Zugang. NVIDIA-Produktseiten sprechen dagegen von voller Produktion: 72 Rubin-GPUs, 36 Vera-CPUs, ConnectX-9 SuperNICs, BlueField-4 DPUs und NVLink 6. Laut NVIDIA-Blog hat CoreWeave die Verfügbarkeit von Vera Rubin NVL72 angekündigt. Cognition sei der erste Kunde mit Produktions-Workloads. Civo nennt erste Produktions-Racks in der Cloud im September.

Eine mögliche Erklärung: Der Blog stammt womöglich aus einer früheren Phase. Oder er betrachtet den Software-Stack und die Day-1-Bereitschaft, während die übrigen Quellen die Hardware-Ausrollung meinen. Das Datum des Blogs fehlt jedoch. Die Frage bleibt offen.

Betroffen sind vor allem Plattformteams, die von GB200 NVL72 umsteigen, und Cloud-Anbieter. Die von NVIDIA genannten Zahlen, etwa ein Zehntel der Kosten pro Million Token gegenüber GB200 NVL72 oder 4,8-fach höherer Durchsatz bei Cognition, sind Herstellerangaben. Unabhängig geprüft sind sie nicht.