AWS stellt Ray-Serve-Container als unterstützten TorchServe-Ersatz vor

AWS stellt Ray-Serve-Container als TorchServe-Ersatz vor

AWS hat einen neuen Deep Learning Container (DLC) mit Ray Serve vorgestellt, der als unterstützte Alternative zum nicht mehr aktiv gewarteten TorchServe dienen soll. TorchServe wird laut offiziellem Projekt-Hinweis nicht mehr aktiv gepflegt: Es sind keine geplanten Updates, Bugfixes, neuen Funktionen oder Sicherheitspatches vorgesehen, und Schwachstellen werden möglicherweise nicht behoben. Für Teams, die derzeit Modell-Inferenz mit TorchServe betreiben, bedeutet das: Sicherheitsupdates und Kompatibilitätsanpassungen an neuere Versionen von PyTorch und CUDA entfallen. Die Ingenieure müssen die gesamte Abhängigkeitskette selbst verwalten – von der Auswahl kompatibler Versionen im GPU-Stack über das Patchen von Schwachstellen in jeder Schicht bis zur Fehlersuche bei subtilen Ausfällen, wenn eine Komponente aus der Abstimmung gerät. AWS bezeichnet diese Arbeit als undifferenzierte Tätigkeit, die die Modellbereitstellung verlangsamt, ohne dem Endprodukt einen Mehrwert zu bringen. Deep Learning Containers von AWS haben dieses Problem für Trainings-Workloads bereits gelöst. Mit dem Ray Serve DLC wird dieser Ansatz nun auf die Inferenz ausgeweitet: ein Container, der speziell für das Serving von Modellen hinter einem HTTP-Endpunkt entwickelt wurde, von AWS gewartet und getestet wird und den vollständigen Inferenz-Stack bereits enthält.

Der neue Deep Learning Container im Detail

AWS Deep Learning Containers sind vorgefertigte Docker-Images, die ein Framework, dessen Abhängigkeiten und den GPU-Stack in einer getesteten und gepatchten Kombination bündeln. Nach Angaben von AWS sind sie performance-optimiert und können sofort bezogen und eingesetzt werden. Der neue Ray Serve DLC überträgt dieses Konzept auf die Modell-Inferenz. Er ist zweckgebunden für das Serving von Modellen hinter einem HTTP-Endpunkt konzipiert und wird von AWS gewartet und getestet. Der vollständige Inferenz-Stack ist bereits zusammengestellt, sodass Anwender keine manuelle Abstimmung von Framework-Versionen, GPU-Treibern und Serving-Schicht vornehmen müssen. In einem Blogbeitrag demonstriert AWS die Bereitstellung eines Vision-Language-Modells auf Amazon Elastic Kubernetes Service (Amazon EKS) unter Verwendung des Ray Serve DLC. Das Beispiel läuft auf einem einzelnen GPU-Knoten und zeigt, wie der Container in einer Kubernetes-Umgebung eingesetzt werden kann. Damit positioniert AWS den Ray Serve DLC als direkten Ersatz für bestehende TorchServe-Workloads, die auf eine unterstützte und gewartete Basis migriert werden können.

Ray Serve: Skalierbare Modell-Inferenz mit flexibler GPU-Planung

Ray Serve ist eine skalierbare Model-Serving-Bibliothek für den Aufbau von Online-Inferenz-APIs. Sie ist framework-agnostisch: Mit einem einzigen Werkzeug lassen sich Modelle aus Frameworks wie PyTorch, TensorFlow und Keras ebenso bereitstellen wie Scikit-Learn-Modelle oder beliebige Python-Geschäftslogik. Für das Serving großer Sprachmodelle bietet Ray Serve mehrere Funktionen und Performance-Optimierungen, darunter Antwort-Streaming, dynamisches Request-Batching sowie Multi-Node- und Multi-GPU-Serving. Besonders geeignet ist Ray Serve für Modellkomposition und Multi-Model-Serving: Komplexe Inferenzdienste, die aus mehreren ML-Modellen und Geschäftslogik bestehen, lassen sich vollständig in Python-Code abbilden. Ray Serve ist auf Ray aufgebaut und skaliert daher mit der zugrunde liegenden Ray-Infrastruktur. Die Skalierbarkeit ist durch die Skalierbarkeit von Ray begrenzt, die eine große Anzahl von Knoten unterstützt. Ein zentrales Merkmal ist die flexible Ressourcenplanung: Ray Serve unterstützt fraktionale GPUs, sodass mehrere Modelle eine GPU gemeinsam nutzen können. Das senkt die Kosten, wenn viele kleine Modelle gleichzeitig bedient werden müssen. Die Kombination aus dynamischem Batching, Streaming und flexibler GPU-Zuteilung macht Ray Serve zu einer vielseitigen Serving-Schicht, die sich an unterschiedliche Workloads anpassen lässt. Für den Betrieb in Produktionsumgebungen stellt Ray Serve integrierte Metriken wie Time to First Token, Time per Output Token und Durchsatz bereit, die eine Überwachung und Optimierung der Inferenzleistung ermöglichen.

Vannevar Labs senkt Inferenzkosten um 45 Prozent

Ein unabhängiger Praxisbeleg für die Effizienz von Ray Serve im Produktivbetrieb stammt von Vannevar Labs, einem Start-up aus dem Verteidigungsbereich. Das Unternehmen hat nach eigenen Angaben die Kosten für maschinelles Lernen in der Inferenz um 45 Prozent gesenkt, indem es Ray und Karpenter auf Amazon Elastic Kubernetes Service (Amazon EKS) einsetzt. Vannevar Labs entwickelt Software und Hardware für verschiedene Verteidigungsmissionen und nutzt ML, um Informationen aus Erfassungssystemen zu verarbeiten und Aufgaben wie Suche und Zusammenfassung auszuführen. Mit einer Vielzahl von Modellen – darunter feinabgestimmte Open-Source-Modelle und intern trainierte Modelle – suchte das Unternehmen nach einer Optimierung seiner ML-Inferenz-Workloads. Die Einführung von Ray Serve führte laut dem Blogbeitrag zu einer verbesserten Bereitstellungsgeschwindigkeit, Skalierbarkeit und Kosteneffizienz. Der Fall zeigt, dass Ray Serve in realen Produktionsumgebungen signifikante Einsparungen ermöglichen kann.

Anyscale meldet über 600 Prozent Wachstum bei Ray Serve

Nach Angaben von Anyscale, dem Unternehmen hinter Ray, ist die Nutzung von Ray Serve und Anyscale Services seit Januar 2023 um über 600 Prozent gewachsen. Anyscale bezeichnet Ray Serve als flexibel, performant und skalierbar. Das Wachstum umfasst eine breite Palette von KI-Anwendungen, darunter große Sprachmodelle, Multi-Model-Anwendungen für die Videoverarbeitung und hochskalierte E-Commerce-Anwendungen. Die Zahl ist ein Indikator für die zunehmende Verbreitung der Serving-Technologie, auch wenn es sich um eine Herstellerangabe handelt, die nicht unabhängig verifiziert ist.

Benchmark-Lage: Noch keine öffentlichen Vergleichstests

Für eine belastbare Bewertung der Leistungsfähigkeit von Ray Serve im Vergleich zu anderen Serving-Frameworks fehlen derzeit öffentliche Vergleichsbenchmarks. Das Ray-Team pflegt ein Repository mit Benchmark-Snapshots für das Serving großer Sprachmodelle (ray-serve-llm-perf-examples). Diese Benchmarks validieren die Korrektheit und Effektivität verschiedener Serving-Muster und liefern Werkzeuge sowie Erkenntnisse, mit denen sich Produktions-Stacks systematisch überprüfen lassen. Sie messen unter anderem Time to First Token, Time per Output Token, Durchsatz und Replica-Startlatenz. Ein direkter Vergleich zwischen Ray Serve und TensorFlow Serving ist jedoch nicht öffentlich verfügbar. In einer Diskussion im Ray-Forum bestätigte das Ray-Team, dass an solchen Vergleichsbenchmarks gearbeitet wird. Konkrete Zahlen wurden bislang nicht veröffentlicht. Damit bleibt die Frage offen, wie sich Ray Serve in Bezug auf QPS und andere Parameter gegenüber etablierten Alternativen schlägt. Für Teams, die eine Migration von TorchServe auf Ray Serve erwägen, ist die Benchmark-Lage daher eine Unsicherheit: Die technischen Fähigkeiten sind dokumentiert, aber unabhängige Leistungsvergleiche stehen noch aus.