KI SpotlightNewsTAO plant GPU-Inferenz und Tool-Wartezeiten von KI-Agenten gemeinsam
Die Autoren berichten bis zu 26,8 % weniger Latenz und bis zu 29,5 % mehr Decode-Durchsatz. Die Werte sind Eigenmessungen und noch nicht unabhängig geprüft.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- TAO ist ein Tool-aware Joint Scheduling Framework für LLM-basiertes Agentic Serving.
- Das Wert-Interface kombiniert nahe Tool-Bereitschaft, Cache-Guthaben mit zeitabhängigem Verfall und Token-Footprint.
- Ein dynamisches Programm wählt wartende Sessions aus und platziert sie unter Kapazitätsbeschränkungen.
- TAO senkt laut Autoren Latenz um bis zu 26,8 %, mittlere TTFT um bis zu 36,3 %.
- Decode-Durchsatz steigt laut Autoren um bis zu 29,5 %, gegenüber der besten Baseline je Metrik.
TAO plant GPU-Inferenz und Tool-Wartezeiten gemeinsam
Ein neues Paper stellt TAO vor, ein „Tool-aware Joint Scheduling Framework“ für LLM-basiertes Agentic Serving. Agentische Dienste wechseln zwischen Modellinferenz auf GPU-Clustern und externen Tools. Diese Tools laufen auf verteilten CPUs. Während ein Tool arbeitet, wartet die Session. Offen bleibt, welche wartenden Sessions als Nächstes auf welche GPU kommen.
TAO bewertet jede wartende Session über ein Wert-Interface mit drei Größen: der nahen Tool-Bereitschaft, einem knotenspezifischen Cache-Guthaben mit zeitlichem Verfall und dem Token-Footprint. Ein dynamisches Programm wählt danach Sessions aus und platziert sie auf den GPUs, innerhalb der Kapazitätsgrenzen. Admission und Platzierung fallen damit in einer gemeinsamen Entscheidung.
Die Autoren werfen bestehenden Systemen zwei Dinge vor. Sie übersähen bei der Bewertung die Tool-Rückgabebereitschaft und verschwendeten so knappe Ressourcen. Außerdem entschieden sie über Admission und Platzierung auf GPUs heuristisch, was zu suboptimalen Scheduling-Entscheidungen führe. Beides sind Aussagen der Autoren.
Bis zu 26,8 % weniger Latenz, aber nur als Autorenangabe
Über 12 berichtete Einstellungen aus Modell, Workload und Parallelität hinweg senkt TAO die Latenz nach Angaben der Autoren um bis zu 26,8 Prozent. Die mittlere Time to First Token (TTFT) sinkt um bis zu 36,3 Prozent. Der Decode-Durchsatz steigt um bis zu 29,5 Prozent. Verglichen wird jeweils mit der besten evaluierten Baseline pro Metrik.
„Bis zu“ heißt: Das sind Maximalwerte, keine Durchschnitte. Das Abstract nennt nicht, wie groß der Vorteil in den übrigen Einstellungen ausfällt. Hinzu kommt: Die Zahlen stammen aus Eigenmessungen gegen Baselines, die die Autoren selbst gewählt haben.
Für eine Prüfung fehlt Wesentliches. Dazu gehören der Volltext mit Baselines, Workloads, Modellen und Hardware, eine Veröffentlichung des Codes und eine unabhängige Reproduktion. Uns lag nur das Abstract vor. Ob das Verfahren gegenüber anderen Scheduling-Systemen tatsächlich neu ist, konnten wir deshalb nicht prüfen.
Wer profitieren könnte und was noch offen ist
Nach dem Abstract könnten Betreiber von Agenten-Plattformen und Inferenzanbieter mit GPU-Clustern und tool-lastigen Sessions profitieren. Ob sich TAO in Stacks wie vLLM oder SGLang integrieren lässt und ob es mit ihnen kompatibel ist, belegt das vorliegende Material nicht. Handlungsbedarf lässt sich erst ableiten, wenn Volltext und Code geprüft werden können.
