NVIDIA zeigt EPD Disaggregation mit Dynamo: bis zu 5x schnellere TTFT

NVIDIA zeigt EPD Disaggregation mit Dynamo: bis zu 5x schnellere TTFT

Encode-Prefill-Decode (EPD) Disaggregation trennt bei multimodalen Modellen die Vision-Encoder-Phase von den Prefill- und Decode-Phasen. Statt alle Schritte auf derselben GPU auszuführen, laufen sie auf getrennten, unabhängig skalierbaren Ressourcen. NVIDIA hat nun eine Anleitung veröffentlicht, wie sich das Verfahren mit dem Open-Source-Inferenz-Framework Dynamo umsetzen lässt. Nach Angaben des Unternehmens sind damit bis zu 5x schnellere Time-to-First-Token (TTFT) und 7x schnellere End-to-End-Antwortzeiten möglich. Die größten Vorteile ergeben sich bei bildlastigen Prompts, kurzen bis mittleren Ausgaben und quantisierten Mixture-of-Experts-Modellen. Hintergrund: Bei herkömmlichem Serving teilen sich Vision-Encoding, Prefill und Decode einen Worker und eine Scheduling-Domäne. Verarbeitet eine Anfrage viele Bilder oder Videos, kann die Encoder-Phase hunderte Millisekunden dauern und andere Anfragen blockieren. Dedizierte Encoder-Worker verbessern Batching, Speichereffizienz und Durchsatz. Durch die Trennung können die Encoder-Worker Bild-Encoding-Aufgaben effizient batchen, da sie nicht mit Prefill- und Decode-Lasten um GPU-Ressourcen konkurrieren. Zudem reduziert sich der Speicherverbrauch pro GPU, weil die Vision-Encoder-Modelle nicht zusammen mit dem LLM auf derselben GPU gehalten werden müssen. Dadurch können mehr Anfragen parallel verarbeitet werden, was die Gesamtdurchsatzrate erhöht. NVIDIA weist darauf hin, dass EPD Disaggregation nicht in allen Szenarien empfohlen wird – etwa bei bildarmen Anfragen kann der zusätzliche Netzwerk-Overhead die Vorteile aufzehren.

Unabhängige Implementierungen bestätigen das Verfahren

Unabhängige Projekte bestätigen das Verfahren mit eigenen Implementierungen. Ein arXiv-Paper berichtet von bis zu 71 Prozent TTFT-Reduktion und bis zu 57 Prozent besserem End-to-End-Durchsatz; der Code ist auf GitHub verfügbar. SGLang implementiert EPD Disaggregation und erreicht in bildlastigen Szenarien bei 1 QPS eine 6- bis 8-fach niedrigere TTFT im Vergleich zur Colocation. Diese Beschleunigung entsteht, weil die Vision-Encoder-Phase auf dedizierte Worker ausgelagert wird, die unabhängig skaliert werden können. Dadurch blockiert die rechenintensive Bildverarbeitung nicht mehr die Prefill- und Decode-Phasen; die LLM-Worker können sofort mit dem Prefill beginnen, sobald die Embeddings übertragen sind. Bei bildarmen Anfragen überwiegt dagegen der Netzwerk-Overhead, weshalb EPD dort kontraproduktiv sein kann. Das Projekt llm-d setzt auf heterogene Hardware – vier Intel Arc Pro B60 für den Encoder, eine NVIDIA H200 für Prefill und Decode – und meldet einen 2,4- bis 2,8-fach höheren Durchsatz sowie eine Reduktion der mittleren TTFT um 69 bis 80 Prozent unter Last. Die heterogene Konfiguration nutzt die unterschiedlichen Stärken der Beschleuniger: Die vier Intel Arc Pro B60 übernehmen die parallelisierbare, compute-gebundene Encoder-Arbeit, während die NVIDIA H200 sich auf die speicherbandbreitenintensive Prefill- und Decode-Phase konzentriert. Diese Aufteilung reduziert Ressourcenkonkurrenz und verbessert die Auslastung, was zu höherem Durchsatz und geringerer TTFT führt. vLLM unterstützt EPD Disaggregation mit Konfigurationen wie 1e1p1d und 1e1pd. 1e1p1d steht für je eine Encoder-, Prefill- und Decode-Instanz, also eine vollständige Trennung aller drei Phasen. 1e1pd kombiniert Prefill und Decode in einer Instanz, während der Encoder separat läuft. Die vollständige Trennung (1e1p1d) bietet maximale Flexibilität und unabhängige Skalierung, erfordert aber mehr Overhead; 1e1pd ist einfacher, verzichtet jedoch auf die getrennte Skalierung von Prefill und Decode. Die Zahlen variieren je nach Framework, Hardware, Lastprofil und Metrik; sie liegen teils über, teils unter den von NVIDIA genannten Werten.