Route Anything: Der Oracle-Vorsprung von 5,4 Punkten ist Potenzial, kein Gewinn

Route Anything dehnt Routing von Sprachmodellen auf Bildgeneratoren und Roboter-Policies aus

Das Paper „Route Anything“ (arXiv:2611.05275) behandelt eine Frage, die sich viele Betreiber von KI-Systemen stellen: Welcher Kandidat soll eine Aufgabe übernehmen, wenn nicht ein einzelnes Modell alles erledigen soll? Ein Router entscheidet das pro Aufgabe. Kandidaten sind Modelle, Tools und Policies. Der Router wägt Leistung gegen Rechenkosten ab. Laut dem zugehörigen Repository kann ein Kandidat ein Sprachmodell sein, ein Bild-, Video- oder Sprachgenerator oder eine Roboter-Policy.

Neu ist laut Material vor allem der Umfang. Route Anything deckt Sprach-, Bild-, Video- und Sprachgenerierung ab, dazu Coding- und Workplace-Agenten sowie Robotermanipulation. Dafür legen die Autoren eine einheitliche Theorie vor, die optimales Routing unter Abwägung von Qualität und Kosten beschreibt.

Mit „Policy“ ist hier eng gemeint. Gemeint sind Roboter-Policies, also Steuerungsstrategien, die als routbare Kandidaten auftreten. Sicherheits- oder Governance-Policies sind nicht gemeint. Das Material lässt einen solchen Bezug nicht erkennen.

Die Autoren rahmen ihre Arbeit größer. Die Orchestrierung eines heterogenen Ökosystems aus spezialisierten Modellen, Tools und Policies sei ein vielversprechender Weg Richtung AGI, schreiben sie. Sie stellen außerdem Verbesserungen bei Leistung und Effizienz in Aussicht. Das ist eine Herstellerangabe der Autoren, kein gesichertes Ergebnis. Prüfen ließe sie sich nur am vollständigen Paper, mit Ergebnissen zu gelernten Routern, Kosten und Latenz sowie mit einer Replikation.

Was die Ergebnismatrix umfasst

Kern der Empirie ist eine omni-modale Trajektorienmatrix. Sie deckt 25 Benchmarks ab: Sprachverständnis, Bild-, Video- und Sprachgenerierung, Coding- und Workplace-Agenten sowie Robotermanipulation. Insgesamt enthält sie 374.401 bewertete Läufe, die aus 452 Kandidatenkonfigurationen stammen.

Die Kandidaten reichen vom Sprachmodell bis zur Roboter-Policy. Wer die Matrix hat, kann für jede Eingabe nachschlagen, wie jeder Kandidat abgeschnitten hat. Auf dieser Grundlage lassen sich Router trainieren und mit Referenzwerten vergleichen.

Zur Theorie sagen die Autoren zweierlei. Sie charakterisiere optimales Routing unter Qualitäts-Kosten-Abwägung. Außerdem zeige sie, wie die dem Router verfügbare Information seine erreichbare Leistung bestimmt. Das Repository fasst es so: Gewählt wird der Kandidat mit dem höchsten Erwartungswert abzüglich bepreister Kosten, gegeben das, was der Router beobachtet. Eine Referenz-Policy und eine Qualitätstoleranz legen den Preis fest. Wie belastbar die Theorie ist, lässt sich aus dem vorliegenden Material nicht beurteilen. Es enthält nur Abstract und Repository-Beschreibung.

Der 5,4-Punkte-Vorsprung des Oracles ist eine Obergrenze, kein Router

Die zentrale Zahl des Repositorys betrifft das mögliche Routing-Potenzial. Auf 19.814 Testeingaben aus 24 Benchmarks erreicht das Per-Input-Oracle 87,98 Punkte, der beste feste Kandidat 82,60. Der Abstand liegt bei rund 5,4 Punkten. SciCode, der 25. Benchmark, ist in diesem Panel ausgeschlossen.

Diese Zahl beschreibt keinen Router, den man einsetzen könnte. Das Oracle wählt für jede Eingabe nachträglich den besten Kandidaten und setzt damit vollständiges Wissen voraus. Ein realer Router muss dagegen vorab entscheiden, und zwar nur auf Grundlage dessen, was er an der Eingabe beobachtet. Der Oracle-Wert zeigt also, wie viel Routing höchstens bringen könnte, wenn Kandidaten auf unterschiedlichen Eingaben unterschiedlich gut abschneiden. Wie viel davon ein gelernter Router tatsächlich hebt, sagt er nicht.

Ergebnisse gelernter Router aus Route Anything liegen im Material nicht vor. Das Repository kündigt sie an, der entsprechende Abschnitt ist aber abgeschnitten. Aussagen zu realisierten Gewinnen sind auf dieser Basis nicht möglich.

Unabhängige Benchmarks: Reale Router schlagen einfache Baselines nicht verlässlich

Zwischen dem Oracle-Potenzial und unabhängigen Messungen besteht eine Spannung, aber kein direkter Widerspruch. Das Oracle ist eine Obergrenze mit perfekter Information. Die folgenden Arbeiten messen dagegen tatsächlich gelernte oder kommerzielle Router.

LLMRouterBench umfasst über 400K Instanzen aus 21 Datensätzen, 33 Modelle und 10 Baselines. Die Arbeit ist bei Findings of ACL 2026 angenommen. Sie bestätigt die Komplementarität der Modelle, also die Grundannahme des Routings. Zugleich schneiden viele Methoden unter einheitlicher Evaluation ähnlich ab. Mehrere neuere Ansätze, darunter kommerzielle Router, schlagen eine einfache Baseline nicht verlässlich. Zum Oracle bleibt eine große Lücke, die laut den Autoren vor allem auf Fehler bei der Modellauswahl zurückgeht (Model-Recall).

Die Arbeit „When Routing Collapses“ beschreibt einen weiteren Fehlermodus. Steigt das Kostenbudget, weichen bestehende Router systematisch auf das teuerste Modell aus, auch wenn günstigere genügen würden. Die Autoren führen das darauf zurück, dass viele Router skalare Leistungswerte vorhersagen, die Entscheidung aber auf dem Vergleich diskreter Kandidaten beruht. Schon kleine Vorhersagefehler können die Rangfolge kippen. Für ihren Ansatz EquiRouter berichten sie auf RouterBench rund 17 Prozent geringere Kosten bei GPT-4-Niveau gegenüber dem stärksten früheren Router. Das ist eine Eigenangabe zu dieser Arbeit und kein Beleg für Route Anything.

Ein direkter Vergleich mit Route Anything ist nicht möglich. LLMRouterBench misst rein auf Sprachmodellen, Route Anything arbeitet omni-modal. Außerdem sind die gelernten Router des Papers im Material nicht auswertbar.

Dass Routing ein etabliertes Feld ist, zeigt auch die Survey-Literatur. Der Survey von Moslem und Kelleher (Transactions on Machine Learning Research, 2026, mit Survey Certification) grenzt Routing über mehrere unabhängig trainierte Sprachmodelle von Mixture-of-Experts ab. Letzteres routet innerhalb eines einzelnen Modells. Der Survey ordnet die Ansätze nach Schwierigkeit, Präferenzen, Clustering, Unsicherheit, Reinforcement Learning, Multimodalität und Cascading. LLMRouter und der zugehörige Benchmark xRouteBench decken zudem Vision (Bild, Video), Zeitreihen und personalisiertes Routing ab.

Ohne die private Matrix bleiben die omni-modalen Zahlen unprüfbar

Das GitHub-Repository enthält den Experimentcode. Matrixdaten, abgeleitete Tabellen, Split-Dateien, Embeddings, Medien und trainierte Checkpoints fehlen dort. Auch auf Hugging Face sind sie nicht hochgeladen. Das dort vorhandene Replay-Bundle deckt laut Repository nur die früheren Code- und Text-Studien ab, nicht die 25-Benchmark-Matrix. Wer die matrixbasierten Ergebnisse reproduzieren will, braucht separat autorisierte Daten. Die synthetischen Beispiele im Repository prüfen das Codeverhalten, nicht diese Werte.

Nachspielen lassen sich damit nur die Code- und Text-Ergebnisse aus öffentlichen Aufzeichnungen. Der Oracle-Vorsprung von 5,4 Punkten und alle übrigen omni-modalen Zahlen sind derzeit nicht unabhängig nachprüfbar.

Betroffen sind laut Material vor allem Router-Forschende, Betreiber von Multi-Modell- und Gateway-Plattformen sowie Entwickler von Agenten- und Robotik-Pipelines. Sie müssen abschätzen, ob sich Routing über Modalitäten hinweg lohnt. Dafür stehen bislang nur die Angaben der Autoren zur Verfügung.

Offen bleibt einiges. Die Abgrenzung zum Archivartikel über REA, das im selben Umfeld geführte Projekt zu einer Routed Embodied Agent Runtime, lässt sich aus dem Material nicht belegen. Gleiches gilt für Aussagen zu Gewinnern und Verlierern, zu Kosten- oder Compliance-Druck, zu einem EU- oder Deutschland-Bezug und zum AI Act. Sie bleiben deshalb aus diesem Beitrag heraus.