NVIDIA erweitert xio-sig um cuObject und kündigt SCADA Server SDK an

cuObject allgemein verfügbar, SCADA Server SDK angekündigt

NVIDIA hat die allgemeine Verfügbarkeit der cuObject Client- und Server-Bibliotheken bekannt gegeben. Das Unternehmen erweitert damit sein xio-sig-Ökosystem um cuObject – neben cuFile – in Partnerschaft mit Google Cloud und Microsoft. Entwickler können über die APIs und das RDMA-Wire-Protokoll von cuObject beschleunigte Zugriffe auf S3-kompatiblen Objektspeicher aufbauen. Zusätzlich kündigt NVIDIA das Scaled Accelerated Data Access (SCADA) Server SDK an, das zusammen mit der xio-sig-Erweiterung interoperablere Speicherzugriffe für KI-Workloads ermöglichen soll. Hintergrund ist, dass Objektspeicher über RDMA bislang kein gemeinsames Wire-Protokoll besaß und Entwickler auf anbieterspezifische Integrationen oder traditionelle Zugriffsmethoden angewiesen waren. Nach Angaben von NVIDIA ist der Zugriff schnell und sicher – eine Herstellerangabe, die unabhängige Benchmarks noch bestätigen müssten.

RDMA-Datenpfad umgeht CPU und Scratch-Staging

cuObject besteht aus zwei Komponenten. cuObjClient stellt Client-APIs für GET- und PUT-Operationen mit benutzerdefinierten Callbacks für die Kontrollpfad-Kommunikation bereit, während der Datenpfad RDMA nutzt. cuObjServer implementiert die RDMA-beschleunigte Serverseite für S3-kompatible Dienste und unterstützt Multi-Threading, automatisches Verbindungsmanagement sowie Dynamically Connected Transport. Die Client-Bibliothek ist ab CUDA Toolkit 13.1.1 verfügbar und unterliegt der CUDA Toolkit End User License Agreement. In Version 1.3.0 ergänzt cuObject den RDMA Token Reset, mit dem veraltete RDMA-Tokens invalidiert werden können. Der cuObject Server v2.0.0 führt einen event-driven completion mode ein: Anwendungen können über einen Standard-File-Descriptor auf Abschlüsse warten. Durch den RDMA-Einsatz vermeidet cuObject CPU-Kernel-Code für die TCP-Verarbeitung und kann die CPU für Datenpayloads umgehen. Das Staging in lokalen Scratch-Dateisystemen entfällt damit.

Dell und Versity integrieren cuObject für GPU-Direktzugriff

Dell Technologies hat gemeinsam mit NVIDIA eine beschleunigte Engine für das NIXL OBJ Plugin entwickelt und in den Upstream gemerged. Damit können vLLM, LMCache und NIXL KV-Cache über RDMA direkt in den GPU-Speicher von Dell ObjectScale auslagern – ohne Fork und ohne eigenen Client. Dell hat bei einem 235K-Token-Kontext eine 13,4-fach schnellere Time-to-First-Token gemessen: 837 Millisekunden gegenüber 11.223 Millisekunden bei Neuberechnung des Prefill. Gegenüber S3-HTTP-Offload lag der Vorteil beim Faktor 1,3 bis 1,5. Versity führt eine Funktion ein, die GPUDirect RDMA mit Tape-Archiven verbindet. Nach eigenen Angaben ist Versity der erste Anbieter, der GPUDirect-Performance in ein Tape-Archivsystem bringt. Der Versity S3 Gateway (versitygw) stellt ein optionales RDMA-Binary namens vgwrdma bereit, das dieselbe S3-API bietet, aber Objektdaten über ein RDMA-Fabric statt über HTTP-Body überträgt. Zwei Pfade werden unterstützt: --rdma-ip für den cuObject-Pfad und --rdma-rc-enable für den experimentellen hipObject-RC-v2-Pfad.