NVIDIA setzt auf BlueField-DPUs für effizientere Agentic-AI-Fabriken

Agentic AI: Ein neues Muster für KI-Fabriken

Agentic AI, also KI-Systeme, die selbstständig mehrstufige Aufgaben planen und ausführen, verändert die Anforderungen an die Infrastruktur von KI-Fabriken grundlegend. Ein aktueller Report bewertet die Fähigkeiten und Risiken agentischer KI als zunehmend bedeutend. Anders als bei einfachen Chatbot-Interaktionen, bei denen ein einzelnes Modell eine Antwort generiert, löst eine Anfrage in einem agentischen System eine Kette von Operationen aus. Eine einzige Nutzeranfrage kann zahlreiche Modellaufrufe für das logische Denken, Tool-Nutzungen für externe Aktionen, Speicherzugriffe für Kontextdaten, Richtlinienprüfungen für Sicherheit und Compliance, Speichertransfers für große Datenmengen und Netzwerkübertragungen für die Kommunikation mit anderen Diensten nach sich ziehen, bevor eine endgültige Antwort entsteht. Jeder dieser Schritte erfordert das Bewegen, Schützen, Abrufen und Wiederverwenden von Daten. Da Agenten Kontext über mehrere Schritte, Nutzer, Werkzeuge, Dienste und Sitzungen hinweg transportieren und immer mehr Agenten gleichzeitig arbeiten, muss die Infrastruktur in der Lage sein, diese Daten schnell genug zu verarbeiten, um GPUs und CPUs produktiv zu halten. In herkömmlichen Architekturen sind die Host-CPUs sowohl für die Orchestrierung der KI-Workloads als auch für Infrastrukturaufgaben wie Netzwerk-, Speicher- und Sicherheitsverarbeitung zuständig. Die Vielzahl der parallelen Operationen bei agentischen Workloads führt zu einer erheblichen Belastung dieser CPUs. Das verändert das Infrastrukturmuster: Um Engpässe zu vermeiden, müssen die Infrastrukturaufgaben von den Host-CPUs entkoppelt und auf spezialisierte Prozessoren verlagert werden, damit die Rechenwerke kontinuierlich mit Daten versorgt werden können.

BlueField-DPUs: Infrastrukturverarbeitung im Datenpfad

Um diese Herausforderung zu bewältigen, setzt NVIDIA auf die BlueField-Datenverarbeitungseinheiten (DPUs). Die BlueField-Plattform bringt dedizierte, programmierbare Infrastrukturverarbeitung direkt in den Datenpfad der KI-Fabrik. Anders als herkömmliche Netzwerkkarten, die lediglich Daten übertragen, übernehmen BlueField-DPUs aktiv Aufgaben wie die Verarbeitung von Netzwerkpaketen, die Virtualisierung von Speicher und die Durchsetzung von Sicherheitsrichtlinien. Sie sitzen im Datenpfad zwischen dem Netzwerk und den Servern und können Datenströme verarbeiten, ohne die Host-CPUs zu beanspruchen. Dadurch werden die Host-CPUs von Infrastrukturarbeiten entlastet und können sich auf die Orchestrierung der KI-Agenten konzentrieren. Die Programmierbarkeit der DPUs ermöglicht es, die Infrastrukturverarbeitung flexibel an die Anforderungen agentischer Workloads anzupassen. So wird sichergestellt, dass die Datenbewegung, -sicherung und -wiederverwendung nicht zum limitierenden Faktor wird. Die BlueField-DPUs sind damit ein zentraler Baustein, um die zuvor beschriebenen Engpässe zu vermeiden und die Produktivität von GPUs und CPUs in KI-Fabriken zu gewährleisten. Durch die Auslagerung der Infrastrukturverarbeitung auf spezialisierte Hardware wird die Architektur entkoppelt und kann besser mit der Anzahl gleichzeitiger Agenten skalieren.

Extremes Co-Design für GPU- und CPU-Effizienz

Die Entlastung der Host-CPUs durch BlueField-DPUs ist Teil eines umfassenderen Ansatzes von NVIDIA, die Effizienz von GPU- und CPU-Betrieb in KI-Fabriken zu steigern. Indem die DPUs die Infrastrukturverarbeitung übernehmen, können GPUs kontinuierlich mit Daten versorgt werden, ohne dass die CPUs zwischen Nutzlast- und Infrastrukturaufgaben wechseln müssen. Dies soll die Produktivität der teuren Beschleuniger erhöhen und die Gesamtleistung der Fabrik verbessern. NVIDIA verfolgt dabei ein Konzept des extremen Co-Designs, bei dem DPUs, GPUs und CPUs eng aufeinander abgestimmt sind. Jede Komponente ist für ihre spezifische Aufgabe optimiert: GPUs für die Berechnung, CPUs für die Orchestrierung und DPUs für die Datenbewegung und -sicherheit. Diese Arbeitsteilung ist entscheidend, um die Anforderungen agentischer Workloads zu erfüllen, bei denen eine Vielzahl von parallelen Operationen koordiniert werden muss. Durch die Auslagerung der Infrastrukturarbeit auf spezialisierte DPUs wird die Architektur entkoppelt und kann besser mit der Anzahl gleichzeitiger Agenten skalieren. So soll vermieden werden, dass die Infrastruktur zum Flaschenhals wird und die Rechenwerke unproduktiv auf Daten warten.

NVIDIAs breitere Agentic-AI-Strategie

Die BlueField-Plattform ist Teil einer breiteren Strategie von NVIDIA für das Zeitalter der Agentic AI. Parallel hat das Unternehmen Initiativen wie Cosmos 3 und TAO-Agent-Skills vorgestellt, die das Post-Training für Vision-Reasoning-Modelle automatisieren. Diese Werkzeuge beschleunigen die Entwicklung von KI-Agenten, die visuelle Informationen verarbeiten und logische Schlüsse ziehen können. Das automatisierte Post-Training umfasst Schritte wie Feinabstimmung, Optimierung und Bereitstellung der Modelle. Während Cosmos und TAO auf der Modellseite ansetzen, zielt BlueField auf die operative Infrastruktur ab. Gemeinsam adressieren sie die Herausforderungen, die agentische KI an KI-Fabriken stellt: von der effizienten Modellerstellung bis zum zuverlässigen Betrieb unter hoher Last mit vielen gleichzeitigen Agenten. Die strategische Bedeutung liegt darin, dass NVIDIA sowohl die Software- als auch die Hardwareebene optimiert, um skalierbare und wirtschaftliche KI-Fabriken für die nächste Generation von KI-Anwendungen zu ermöglichen. Durch diese ganzheitliche Betrachtung will NVIDIA sicherstellen, dass die Infrastruktur mit den steigenden Anforderungen agentischer Workloads Schritt hält und die Produktivität der Rechenwerke maximiert wird.