LLAMIA-Bench: Verbalisierung als Flaschenhals in der Agenten-Kollaboration

LLAMIA-Bench: Sechs Aufgaben, die kein Einzelagent löst

Die Studie „Exploring Collaboration between a language and a non-language agent“ führt LLAMIA-Bench ein, eine Suite von sechs kollaborativen Schachaufgaben. Die Aufgaben stammen aus drei Bereichen: Verhaltensimitation, Zustandsbewertung und natürlichsprachliche Erklärung. Jede Aufgabe instanziiert ein etabliertes Schachproblem, das weder das LLM noch die Schach-Engine allein lösen kann. Der Ausgangspunkt der Arbeit: LLMs werden zunehmend als Orchestratoren eingesetzt, die spezialisierte Subagenten über natürliche Sprache koordinieren. Doch in wichtigen Domänen wie Spielen und Robotik sind die stärksten verfügbaren Agenten keine Sprachmodelle. Die Integration nicht-sprachlicher Agenten mit LLMs würde Verbalisierung erfordern: das Komprimieren reicher kontinuierlicher Repräsentationen in spärliche textuelle Zusammenfassungen bei jedem Interaktionsschritt. LLAMIA-Bench soll untersuchen, ob diese Verbalisierung einen Flaschenhals darstellt. Die sechs Aufgaben decken damit genau die Schnittstelle ab, an der Sprachmodelle und nicht-sprachliche Spezialagenten aufeinandertreffen – und an der die Grenzen textbasierter Koordination sichtbar werden. Jede Aufgabe erfordert eine enge Kollaboration: Das LLM muss die kontinuierlichen Zustände der Engine verstehen und darauf reagieren, während die Engine auf die sprachlichen Anweisungen des LLM angewiesen ist.

Latente Zustands-Token statt Verbalisierung

Die vorgestellte Methode der latenten Zustandsinternalisierung projiziert die kontinuierlichen Repräsentationen des Subagenten direkt als gelernte Zustands-Token in den Token-Strom des LLM. Die Umwandlung der kontinuierlichen Repräsentationen in Token erfolgt über eine gelernte Projektion: Die Repräsentationen des Subagenten – etwa Hidden-State-Vektoren oder Embeddings – werden durch eine trainierbare Abbildung in den diskreten Token-Raum überführt. Das Vokabular der Zustands-Token wird dabei als Teil des Gesamttrainings gelernt, sodass die Token semantisch die relevanten Zustandsinformationen kodieren. Bei Umweltänderungen, also wenn Aktionen den Umweltzustand vorantreiben, wird die Repräsentation des Subagenten erneut durch den Encoder geleitet und die Projektion dynamisch aktualisiert; dies entspricht einem wiederholten Forward-Pass-Encoding, das sicherstellt, dass die eingefügten Zustands-Token stets den aktuellen Zustand widerspiegeln. Im Gegensatz dazu steht die textbasierte Verbalisierung: Sie komprimiert reiche kontinuierliche Repräsentationen in spärliche textuelle Zusammenfassungen bei jedem Interaktionsschritt. Die Arbeit „Beyond tokens“ benennt drei strukturelle Nachteile natürlicher Sprache als Kommunikationsprotokoll: hohe Inferenzkosten, irreversibler Informationsverlust bei der Diskretisierung sowie Mehrdeutigkeit und Redundanz natürlicher Sprache. Latente Kommunikation umgeht diesen Engpass, indem Agenten kontinuierliche Repräsentationen – Embeddings, versteckte Zustände oder KV-Caches – direkt austauschen, ohne den Umweg über die Textgenerierung. Der entscheidende Unterschied liegt in der Informationsdichte: Während ein Textsummary diskrete Symbole verwendet, die zwangsläufig Details verlieren, bleiben kontinuierliche Repräsentationen verlustarm. Die gelernten Zustands-Token fungieren dabei als Schnittstelle zwischen dem kontinuierlichen Zustandsraum des Subagenten und dem diskreten Token-Raum des LLM. Die dynamische Re-Enkodierung stellt sicher, dass die projizierten Zustände den aktuellen Umweltzustand widerspiegeln und nicht veralten. Dadurch wird die Information nicht nur einmalig übertragen, sondern kontinuierlich an den Fortschritt der Umgebung angepasst – ein Vorteil, den textuelle Zusammenfassungen nicht bieten können.

Verbalization Debt wächst mit Training und Modellgröße

Die Experimente zeigen eine konsistente „verbalization debt“: Die Leistungslücke zwischen Internalisierung und verbalisierter Integration weitet sich während des Trainings aus. Sie bleibt bestehen, wenn das LLM von 4B auf 14B Parameter skaliert wird. Konkrete quantitative Ergebnisse wie Accuracy- oder Success-Rate-Kurven über Trainings-Epochen werden im vorliegenden Abstract nicht genannt; der Befund ist jedoch qualitativ eindeutig: Die Lücke wächst mit zunehmendem Training und verschwindet nicht bei größerer Modellkapazität. Mögliche Ursachen für das wachsende Defizit liegen im Informationsverlust durch die Diskretisierung kontinuierlicher Repräsentationen in Text sowie in einem potenziellen Overfitting des verbalisierenden Modells an oberflächliche Textmerkmale, die die eigentliche Zustandsinformation nicht vollständig abbilden. Da die kontinuierlichen Repräsentationen Informationen enthalten, die in der diskreten Textform verloren gehen, kann auch ein größeres Modell diesen Verlust nicht kompensieren; im Gegenteil, die zusätzliche Kapazität verstärkt möglicherweise die Abhängigkeit von unvollständigen Textsignalen. Der Befund ist konsistent über die Experimente hinweg: Die Lücke ist kein Artefakt einer bestimmten Modellgröße oder eines bestimmten Trainingsstands, sondern ein strukturelles Merkmal der Verbalisierung. Wer nicht-sprachliche Agenten über Text anbinden will, zahlt dafür einen Preis – und dieser Preis steigt mit der Leistungsfähigkeit des Sprachmodells.

14B-Modell schlägt Spezialisten und Frontier-Modelle

Ein einzelnes 14B-Modell namens LLAMIA, trainiert mit latenter Zustandsinternalisierung, erreicht oder übertrifft Aufgabenspezialisten und Frontier-Modelle einschließlich GPT-5.1. Das Abstract endet an dieser Stelle abgeschnitten, sodass Details zum Evaluations-Setup, zu den verwendeten Metriken (z. B. Success-Rate, Spiel-Gewinn-Rate) und zu konkreten Vergleichswerten nicht vollständig vorliegen. Auch statistische Tests zur Signifikanz werden nicht genannt. Der Befund ist dennoch bemerkenswert: Ein vergleichsweise kleines Modell, das kontinuierliche Zustände direkt integriert, konkurriert mit deutlich größeren Systemen, die auf textbasierte Kommunikation angewiesen sind. Die latente Zustandsinternalisierung ermöglicht es dem 14B-Modell, Informationen zu nutzen, die bei der Verbalisierung verloren gehen – und damit Leistungen zu erreichen, die sonst spezialisierten oder wesentlich größeren Modellen vorbehalten sind. Dies unterstreicht das Potenzial latenter Kommunikation, die Effizienz von Multi-Agenten-Systemen erheblich zu steigern.

Latente Kommunikation als Trend in Multi-Agenten-Forschung

Die Arbeit „Beyond tokens“ präsentiert einen einheitlichen Rahmen für latente Kommunikation in LLM-basierten Multi-Agenten-Systemen. Sie analysiert bestehende Methoden entlang dreier orthogonaler Achsen: WAS kommuniziert wird (Embeddings, Hidden States, KV-Caches oder andere kontinuierliche Zustände), WELCHE Sender-Empfänger-Ausrichtung verwendet wird (latent-space alignment und layer alignment) und WIE die kommunizierte Information beim Empfänger fusioniert wird (Konkatenation, Voranstellen, mathematische Operationen, Cross-Attention oder Cache-Restaurierung). Die latente Zustandsinternalisierung lässt sich explizit diesen Achsen zuordnen: (i) WHAT – es werden kontinuierliche Repräsentationen des Subagenten übertragen, konkret Hidden-State-Vektoren oder Embeddings, die den aktuellen Umweltzustand kodieren. (ii) WHICH – die Sender-Empfänger-Ausrichtung erfolgt durch eine Projektion in den Token-Raum des Empfänger-LLMs, was einer latent-space-Ausrichtung entspricht, da die kontinuierlichen Vektoren in den diskreten Token-Raum abgebildet werden. (iii) HOW – die Fusions-Operation am Empfänger-Modell ist das Einfügen der gelernten Zustands-Token in den Token-Strom, vergleichbar mit Konkatenation oder Voranstellen. Ein Pseudocode-Beispiel verdeutlicht den Ablauf:

```

Pseudocode für latente Zustandsinternalisierung

subagent_rep = subagent.encode(environment_state) # kontinuierliche Repräsentation

state_tokens = learned_projection(subagent_rep) # gelernte Projektion in Token-Raum

llm_input = concatenate(original_tokens, state_tokens) # Einfügen in Token-Strom

output = llm(llm_input)

```

LangChain dokumentiert das Subagenten-Muster mit zentraler Steuerung, Subagenten als Tools und paralleler Ausführung. Die latente Zustandsinternalisierung ist eine konkrete Instanz dieses Trends: Sie kommuniziert kontinuierliche Repräsentationen des Subagenten (WHAT), projiziert sie als gelernte Zustands-Token in den Token-Strom (HOW) und nutzt dynamische Re-Enkodierung bei Umweltänderungen. Damit fügt sich die Methode in eine wachsende Forschungsrichtung ein, die natürliche Sprache als alleiniges Kommunikationsprotokoll zwischen Agenten infrage stellt und kontinuierliche Repräsentationen als effizientere Alternative etabliert.

Benchmarks und Token-Ökonomie: Der breitere Rahmen

MultiAgentBench ist ein Benchmark für LLM-basierte Multi-Agenten-Systeme; gpt-4o-mini erreicht den höchsten durchschnittlichen Task-Score, die Graph-Struktur schneidet unter den Koordinationsprotokollen am besten ab, und kognitive Planung verbessert die Meilenstein-Erreichung um 3%. Die Token-Economics-Studie konzeptualisiert Tokens als Produktionsfaktoren, Tauschmittel und Rechnungseinheiten und schlägt eine vierdimensionale Taxonomie vor, die von Mikro- bis Makroebene reicht. Anthropic beschreibt sein Multi-Agenten-Research-Feature mit einem Planungsagenten, der parallele Suchagenten erstellt. COS führt ReplicatorBench ein, einen Benchmark zur Bewertung von LLM-Agenten bei der Forschungsreplikation in den Sozial- und Verhaltenswissenschaften. Diese Arbeiten zeigen: Multi-Agenten-Systeme werden systematisch vermessen, Token-Nutzung wird ökonomisch analysiert, und praktische Architekturen setzen auf zentrale Steuerung mit parallelen Subagenten. Unternehmen, die auf textbasierte Kommunikation zwischen Agenten setzen, müssen möglicherweise ihre Architekturen überdenken – die Befunde zur verbalization debt legen nahe, dass latente Kommunikation nicht nur ein Forschungstrend ist, sondern eine praktische Notwendigkeit werden könnte, um Effizienz und Leistung in komplexen Multi-Agenten-Systemen zu sichern.