KI SpotlightNewsNVIDIA stellt Open-Source-Dienst zur automatischen Wiederherstellung von Trainingsjobs vor
NVIDIA Recovery in DSX OS unterstützt bislang nur Slurm und Slurm auf Kubernetes. Laut Berichterstattung gilt der Dienst als experimentell.
Mit KI erstellt◆ Fakten auf einen Blick
- NVIDIA Recovery ist Teil von NVIDIA DSX OS und stellt Trainingsjobs automatisch wieder her.
- Der Dienst erkennt Unterbrechungen über Anwendungslogs, GPU-Metriken und Scheduler-Signale.
- Das Repository dsx-ai-factory/NVIDIA-Recovery steht unter der Apache License 2.0.
- Externe Pull-Request-CI muss von einem Maintainer per Kommentar freigegeben werden.
- Dokumentierte Unterstützung gibt es für Slurm und Slurm auf Kubernetes; native Kubernetes-Recovery fehlt.
Am 2. November hat NVIDIA mit NVIDIA Recovery einen Dienst vorgestellt, der verteilte KI-Trainingsjobs automatisch wiederherstellt. Er gehört zu DSX OS und ist unter der Apache-2.0-Lizenz auf GitHub verfügbar.
Der Dienst erkennt Abstürze, Hänger, Straggler und NCCL-Timeouts. Dafür wertet er Anwendungslogs, GPU-Metriken und Scheduler-Signale aus. Fehler ordnet er den betroffenen Ressourcen zu, isoliert Knoten und stößt Neustarts aus Checkpoints an. Nach Angaben von NVIDIA läuft die Automatisierung rund um die Uhr. Sie soll den Goodput erhöhen und Compute-Kosten sowie Time-to-Train senken. Unabhängige Messungen dazu gibt es bislang nicht.
Dokumentiert ist die Unterstützung für Slurm und Slurm auf Kubernetes. Eine native Kubernetes-Recovery für JobSet und Kubeflow PyTorchJob ist geplant, aber nicht umgesetzt. Recovery legt keine Checkpoints an. Das Laden übernimmt die Anwendung.
Laut Tokenpost ist der Dienst experimentell und nicht für den Produktionseinsatz bereit. Ob dieser Vorbehalt von NVIDIA stammt, ist offen; die Primärdokumentation zum Status war nicht einsehbar. Ungeklärt bleibt auch das Verhältnis zur bereits bestehenden Recovery-Engine in Mission Control. Die Quellen geben dazu nichts her.
