NVIDIA erweitert NVLink Fusion um NVHBM

NVLink Fusion erhält NVHBM-Erweiterung

NVIDIA hat heute bekannt gegeben, dass NVLink Fusion um NVHBM erweitert wurde. NVLink Fusion ist eine Plattform für den Aufbau halbkundenspezifischer KI-Infrastruktur, die Compute, Speicher, Storage, Netzwerk und Software als einheitliches System integriert. Die Erweiterung um NVHBM – eine next-generation high-bandwidth memory technology – bedeutet, dass diese Systemintegration nun auch eine neue Speichertechnologie umfasst, die speziell für XPUs entwickelt wurde, um höhere Speicherleistung und Effizienz zu liefern. Hintergrund ist die nächste Welle der KI: Mit dem Aufkommen von KI-Agenten und Workloads mit Billionen Parametern hängt die Leistung von KI-Infrastruktur nicht mehr allein von der Rechenleistung ab, sondern davon, wie alle Komponenten zusammenwirken. Durch die Integration von NVHBM in NVLink Fusion können Hyperscaler und KI-Innovatoren die nächste Generation semi-custom AI-Infrastruktur aufbauen, die eine engere Kopplung von Speicher und Rechenleistung ermöglicht. Dadurch wird die Speicherhierarchie im System optimiert, was zu einer besseren Auslastung der Rechenressourcen führt. NVIDIA wird die Technologie validieren und anbieten.

Mehr Speicherleistung und Effizienz für XPUs

NVHBM soll höhere Speicherleistung und Effizienz für XPUs bringen, insbesondere für AI-Workloads. Als next-generation high-bandwidth memory technology zielt NVHBM darauf ab, die Speicherbandbreite pro XPU deutlich zu erhöhen und gleichzeitig den Energieverbrauch pro übertragenem Byte zu senken. Durch die Integration in NVLink Fusion wird die Speicheranbindung enger an die Recheneinheiten gekoppelt, was Latenzen reduziert und den Datendurchsatz für parallele KI-Berechnungen steigert. Dies ist entscheidend für KI-Agenten und Modelle mit Billionen Parametern, die große Datenmengen in Echtzeit verarbeiten müssen. Die verbesserte Speicherleistung und Effizienz führt zu einer höheren Gesamtleistung der XPUs, da Engpässe beim Speicherzugriff verringert werden. Gerade in Rechenzentren mit hoher Packungsdichte ist die Energieeffizienz ein kritischer Faktor, da sie Betriebskosten und Kühlungsanforderungen senkt. NVIDIA validiert und bietet NVHBM an, um Hyperscalern und KI-Entwicklern eine leistungsfähigere und effizientere Speicherlösung für die nächste Generation semi-custom AI-Infrastruktur bereitzustellen. Damit adressiert NVIDIA die wachsenden Anforderungen an Speicherleistung und Effizienz in modernen KI-Rechenzentren.