SageMaker leitet LLM-Anfragen künftig nach tatsächlichem Cache-Zustand
Mit der Routing-Strategie KV_AWARE für Real-time-Endpoints verteilt AWS Anfragen anhand der von den Containern gemeldeten Cache-Inhalte. Bisher schätzt das Prefix-aware Routing den Cache-Ort nur aus der Anfrage.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- AWS führt KV-aware routing als neue Routing-Strategie für SageMaker-AI-Real-time-Endpoints ein.
- Der Router nutzt den vom Modell-Container gemeldeten Cache-Zustand für die Instanzauswahl.
- Aktivierung: Umgebungsvariable am Modell und RoutingStrategy=KV_AWARE in der Endpoint-Konfiguration.
- Prefix-aware Routing erkennt nicht, wenn eine Instanz den Cache bereits verdrängt hat.
- Ohne cache-bewusstes Routing berechnen Instanzen gemeinsame Präfixe mehrfach neu.
SageMaker leitet Anfragen dorthin, wo das Präfix schon im Cache liegt
Amazon Web Services führt für Real-time-Endpoints von SageMaker AI eine neue Routing-Strategie ein: das KV-cache-aware Routing, kurz KV-aware Routing. Die Modell-Container melden dem Router nach Angaben von AWS ihren Cache-Zustand. Der Router schickt jede Anfrage an eine Instanz, die einen langen passenden Teil des Prompts bereits im Cache hält und nicht zu stark ausgelastet ist.
Das Problem dahinter ist bekannt. Viele LLM-Anwendungen schicken Anfragen, die mit demselben Text beginnen, etwa einen langen System-Prompt oder eine Gesprächshistorie. Serving-Frameworks wie vLLM und TensorRT-LLM legen die dafür berechneten Key-Value-Paare im Cache ab, dem sogenannten Prefix-Caching. Beim nächsten Auftreten desselben Anfangs entfällt die Berechnung. Läuft hinter einem Endpoint aber eine Flotte aus mehreren Instanzen, landen Anfragen mit gleichem Präfix mal auf dieser, mal auf jener Maschine. Dort wird das Präfix dann neu berechnet, obwohl der Cache-Mechanismus vorhanden ist. Cache-bewusstes Routing soll genau diese Doppelarbeit vermeiden.
Zwei Schalter: Umgebungsvariable und RoutingStrategy=KV_AWARE
Die Funktion wird laut AWS an zwei Stellen aktiviert. Am Modell setzen Betreiber eine Umgebungsvariable, damit der Container seine Cache-Inhalte meldet. Den Namen dieser Variable nennen die bisherigen Angaben nicht. In der Endpoint-Konfiguration folgt die Einstellung RoutingStrategy=KV_AWARE. Clients rufen den Endpoint weiterhin über dieselben APIs auf wie bisher. Änderungen auf Anwendungsseite seien demnach nicht nötig.
AWS nennt als Zielgruppe Teams, die große Sprachmodelle mit Multi-Turn-Konversationen, langen gemeinsamen Prompts oder hoher Last betreiben. Als Beispiele gelten Chat-Assistenten, Retrieval Augmented Generation (RAG) und Agenten mit langen System-Prompts. Offen ist, ob der verwendete Container für die Meldung des Cache-Zustands ein Update braucht. Leistungszahlen, Preise und eine Liste unterstützter Container hat AWS in den vorliegenden Angaben nicht veröffentlicht.
Zustand statt Hash: der Unterschied zum Prefix-aware Routing
Teil 1 der AWS-Serie hatte das Prefix-aware Routing vorgestellt. Es bildet einen Hash über den Anfang der Anfrage bis zur konfigurierten PrefixLength und leitet gleich beginnende Anfragen an dieselbe Instanz. Den Cache-Ort leitet das Verfahren allein aus der Anfrage ab. Verdrängt eine Instanz einen Eintrag aus ihrem Cache, erkennt das Verfahren das nicht. Das KV-aware Routing stützt sich dagegen auf den tatsächlich vom Container gemeldeten Zustand. Wer bisher Prefix-aware Routing nutzt, kann auf die zustandsbasierte Variante wechseln.
Für SageMaker HyperPod bietet AWS separat Managed Tiered KV Cache und Intelligent Routing über den HyperPod Inference Operator an. Das ist ein anderer Deployment-Pfad als die Managed Endpoints. Cache-bewusstes Routing gibt es auch außerhalb von AWS, etwa im CNCF-Sandbox-Projekt llm-d. Dieses routet anhand der KV-Cache-Events von vLLM-Instanzen auf das Replikat mit passendem Präfix.



