NVIDIA veröffentlicht seinen internen SRE-Agenten für DGX-SuperPODs als Blueprint

NVIDIA stellt seinen internen SRE-Agenten für DGX-SuperPODs als Blueprint bereit

NVIDIA hat den „AI Factory Operations Agent“ als Blueprint auf build.nvidia.com und GitHub veröffentlicht. Entwickelt hat das Unternehmen ihn nach eigener Angabe für den Betrieb der eigenen DGX-SuperPOD-Cluster, mit dem Ziel, den manuellen Aufwand seiner Site Reliability Engineers (SREs) zu senken. Laut NVIDIA läuft er in Produktion.

Spezialisierte Agenten übernehmen jeweils eine Betriebsdomäne. Sie erkennen Ausfälle und verknüpfen Ursachen über Compute, Netzwerk, Hardware und Scheduling hinweg. Empfehlungen geben sie über eine Chat-Oberfläche aus. SREs steuern die Agenten in natürlicher Sprache und wechseln zwischen Untersuchungen. Jede Aktion wird protokolliert und lässt sich damit nachvollziehen. Der Einsatz im eigenen Haus ist nicht neu. Neu ist, dass NVIDIA das Muster öffentlich zum Nachbauen bereitstellt.

Die Problemklasse beschreibt NVIDIA so: In großen AI Factories bremsen einzelne degradierte GPUs, Schnittstellen, Speichergeräte oder Switch-Pfade das synchrone verteilte Training. Ein Job kommt nur so schnell voran wie sein langsamster Teilnehmer. Die Belege liegen verteilt bei Netzwerk-, Compute- und ML-Teams. Nach NVIDIAs Darstellung kann die Triage aus Dashboard-Suchen und teamübergreifenden Übergaben Stunden bis Tage Produktionszeit kosten.

Kubernetes, Slurm, Prometheus und Grafana: Was der Blueprint abdeckt

Den technischen Unterbau bildet NemoClaw. Anfragen der SREs laufen laut Architekturbeschreibung über die NemoClaw-Runtime und die OpenShell-Sandbox zu freigegebenen SRE-Tools. Diese decken Kubernetes, Slurm, Cluster-Management, Observability, GPU-Telemetrie, Hardware-Diagnose sowie recherche- und runbook-gestützte Ursachenanalyse ab. Die Anbindung an die Infrastruktur erfolgt über OpenClaw-Plugins und MCP-Server. Die Sub-Agenten kommunizieren über das Model Context Protocol (MCP).

Die GitHub-Beschreibung nennt fünf Workflows. Im Einzelnen sind das: schreibgeschützte Inspektion von Kubernetes-Workloads und -Clustern; Prometheus- und VictoriaMetrics-Abfragen samt Erstellung von Grafana-Dashboards; Ursachenanalyse für Slurm-Jobs aus Scheduler- und Log-Evidenz; optionale Cluster-Management-Integrationen, namentlich der Base Command Manager; sowie sandboxed Befehlsausführung mit auditierbarem Ablauf.

Zur Absicherung gilt Folgendes. Der Zugriff auf Kubernetes, Observability, Slurm und Base Command Manager läuft über modulspezifische Tools auf Serverseite, die mit den jeweils konfigurierten Zugangsdaten arbeiten. Browser- und MCP-Clients erhalten keine Cluster-Credentials. Kubernetes Secrets sind nur in den Pods eingebunden, die sie benötigen. OpenShell isoliert die allgemeine Befehlsausführung.

Voraussetzungen und fehlende Belege zur Wirkung

Zum Nachbau braucht es eine Kubernetes-Umgebung, kubectl und Helm 3. Dazu kommt ein OpenAI-kompatibler LLM-Endpunkt oder ein Cluster, der ein vom Chart verwaltetes vLLM betreiben kann. GPU und Treiber sind nur für dieses vLLM nötig. Wie viel Hardware es braucht, hängt vom gewählten Modellprofil ab.

NemoClaw ist laut NVIDIA eine Sandbox-Runtime für autonome Agenten. Netzwerk-, Datei- und Inferenzzugriffe sind richtliniengesteuert, und standardmäßig ist nichts erlaubt. Modelle auf build.nvidia.com sind zum Prototyping kostenlos, mit etwa 40 Anfragen pro Minute. Danach sind Partner-Endpunkte oder ein lokales NIM-Deployment vorgesehen.

Wirkungsaussagen stammen ausschließlich von NVIDIA. Das Muster könne „any organization“ übernehmen, um Verfügbarkeit und Leistung zu maximieren. Die Agenten lieferten „clear recommendations“ und fänden Probleme schneller. Zahlen zu Diagnosezeit, Ausfallzeit oder Trefferquote nennt das Material nicht. Unabhängige Praxisberichte oder veröffentlichte Metriken mit Datenbasis und Clustergröße würden die Behauptungen prüfbar machen.

Daneben vertreibt NVIDIA mit Minerva eine eigene AIOps-Plattform für AI Factories. Sie gehört zur Vera-Rubin-Plattform, nimmt Telemetrie auf und bietet Anomalieerkennung, automatisierte Ursachenanalyse sowie Closed-Loop-Remediation.