Mehr Agenten, weniger Genauigkeit: Meta-Synthese stellt Multi-Agenten-Vorteil bei gleichem Budget infrage
Ein Paper über neun Studien und 516 Konfigurationen sieht Multi-Agenten-Systeme bei gleicher Sample-Zahl oder gleichem Budget im Minus. Zwei weitere Studien zeichnen ein uneinheitliches Bild.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Paper synthetisiert neun primäre empirische Evaluationen mit 516 eindeutigen Multi-Agenten-Konfigurationen.
- Gegenüber Einzeldurchlauf-Baselines (Kategorie A) sind die Differenzen insgesamt negativ.
- Gegenüber Baselines mit gleicher Sample-Zahl oder gleichem Budget liegt Multi-Agenten im Mittel bei -0,042.
- In 74 % der vergleichbaren Kontraste liegen Multi-Agenten gleichauf oder unter der Baseline.
- Der Wechsel von Greedy- zu Sampling-Baseline verschiebt die Differenzen im Mittel um -0,038.
Bei gleichem Budget kippt der Multi-Agenten-Vorteil ins Negative
Wer Multi-Agenten-Systeme fair bewerten will, braucht eine Baseline mit gleichem Aufwand. Ein neues Paper legt genau das nahe. Nach eigener Angabe synthetisiert es neun empirische Studien mit insgesamt 516 Multi-Agenten-Konfigurationen. Neue Experimente führen die Autoren nicht durch. Sie werten bestehende Evaluationen aus.
Das Kernergebnis steht im Abstract. Gegenüber Baselines mit gleicher Sample-Zahl oder gleichem Ressourcenbudget liegen Multi-Agenten-Systeme im Mittel bei -0,042 Genauigkeit. In 74 Prozent dieser vergleichbaren Kontraste sind sie gleichauf oder schlechter. Ein Multilevel-Random-Effects-Modell auf der Log-Odds-Skala bleibt in allen Sensitivitätsprüfungen negativ. Die Studienmittelwerte sind in fast allen ausgewerteten Studien nicht positiv.
Gegenüber einem einzelnen Durchlauf fällt das Bild schwächer aus. Dort sind die Differenzen insgesamt negativ. Ohne die größte beitragende Studie liegen sie nahe null. Wie groß der Vorteil ausfällt, hängt also stark davon ab, womit verglichen wird.
Warum der Vergleich mit einem einzelnen Greedy-Durchlauf täuscht
Das Paper kritisiert eine verbreitete Praxis. Kommunizierende Architekturen werden gegen einen einzelnen Greedy-Durchlauf gestellt. Der Vergleich vermischt dabei drei Effekte: Koordination zwischen den Agenten, Sample-Multiplizität (mehrere Antworten statt einer) und zusätzlichen Inferenz-Compute. Ein System, das ein Modell dutzendfach aufruft, profitiert schon deshalb. Die Kommunikation der Agenten müsste dafür nichts beitragen.
Zur Entflechtung ordnen die Autoren die Konfigurationen entlang eines Ressourcenvektors mit sechs Dimensionen. Dafür nutzen sie eine Baseline-Leiter mit vier Kategorien. Kategorie A ist der Einzeldurchlauf, B die Baseline mit gleicher Sample-Zahl, C die Baseline mit gleichem Ressourcenbudget.
Wie stark die Wahl der Baseline wirkt, beziffert das Paper selbst. Bei Studien, die beide Baselines berichten, verschiebt der Wechsel von der Greedy- zur Sampling-Baseline die Differenzen im Mittel um -0,038. Außerdem liefern die Autoren eine Reviewer-Checkliste und Accounting-Utilities, mit denen sich der Ressourcenaufwand erfassen lassen soll.
Offen bleibt einiges. Die Autoren und der Begutachtungsstatus des Papers sind bislang nicht bekannt, die Details der Kategorien B und C ebenso wenig.
Wunderlich et al.: Debate und MoA schlagen Self-Consistency bei gleichem Compute
Eine unabhängige Studie kommt zu einem anderen Bild. Florian Valentin Wunderlich, Lars Benedikt Kaesberg, Jan Philip Wahle, Terry Ruas und Bela Gipp vergleichen in einer Arbeit für die ACL 2026 vier Inferenz-Strategien unter einheitlichem Compute-Budget: Self-Consistency, Self-Refinement, Multi-Agent-Debate und Mixture-of-Agents (MoA). Getestet wird auf MMLU-Pro und BBH, über 34 Konfigurationen und mehr als 100 Evaluationen, mit verschiedenen Modellgrößen. Aus der Pareto-Front ermitteln die Autoren, welche Methode bei gegebenem Aufwand die beste Genauigkeit liefert.
Zwei Befunde sind zu trennen. Erstens verbessert Inferenz-Skalierung die Genauigkeit auf MMLU-Pro um bis zu 7,1 Prozentpunkte gegenüber Chain-of-Thought, und zwar bei den höchsten getesteten Budgets, dem 20-Fachen des CoT-Budgets. Laut der Zusammenfassung steigt die Genauigkeit dabei von 64,3 auf 71,4 Prozent. Diese 71,4 Prozent werden also bei etwa 20-fachem CoT-Budget erreicht. Es ist ein Vergleich mit CoT, nicht mit einem anderen Multi-Agenten- oder Ensemble-Verfahren.
Zweitens, und für die aktuelle Debatte wichtiger: Bei gleichem Budget übertreffen Debate und MoA die Self-Consistency um 1,3 beziehungsweise 2,7 Prozentpunkte. Self-Consistency sättigt früher. Die Gewinne der Multi-Agenten-Verfahren halten länger an, besonders bei schwierigeren Aufgaben.
Damit widerspricht die Studie der Synthese zumindest teilweise. Sie gleicht die Budgets sauber an. Gerade deshalb ist sie keine Gegenposition zur Baseline-Kritik. Sie kommt innerhalb derselben Logik zu einem anderen Ergebnis.
Beyond Symmetric Agents: Gleichstand mit Self-Consistency, Diversität ohne Wirkung
Die Studie „Beyond Symmetric Agents“ prüft, ob kognitive Diversität unter den Agenten Debate-Gewinne antreibt. Sie umfasst 23 Modelle aus elf Herstellerfamilien, fünf Aufgaben und mehr als 5.500 Läufe. Verwendet werden kleine offene Modelle, bei denen die Benchmarks noch Spielraum lassen. Die Diversität variieren die Autoren über Personas, Sampling-Temperatur und Modellidentität. Jede Debate-Konfiguration vergleichen sie mit einer Mehrheitsentscheidung bei gleichem Generierungsbudget.
Das Ergebnis fällt zweigeteilt aus. Debate schlägt die Inferenz eines einzelnen Agenten um 3 bis 7 Punkte, wo die Aufgaben Spielraum lassen. Bei gleichem Budget liegt sie gleichauf mit Self-Consistency oder darunter. Dafür braucht sie das 1,6-Fache der Wall-Clock-Zeit und das 3,4-Fache der Tokens. Gemischte Modell-Teams verlieren gegen Mehrheitsentscheide über das eigene Roster. Die Genauigkeit folgt der Fähigkeit der Mitglieder, nicht ihrer Heterogenität. Fast der gesamte Nutzen entsteht beim ersten Austausch der Antworten. Die Diversitätshypothese verwerfen die Autoren auf jeder untersuchten Achse.
Die Studie stützt damit die Linie der Synthese. An einer Stelle widersprechen sich beide allerdings. Die Synthese nennt Fehlerdiversität über Modelle hinweg als Bedingung für positive Erträge. „Beyond Symmetric Agents“ findet dagegen gerade keinen Diversitätseffekt.
Drei Befunde, zwei Lesarten: Was sich aus den Abstracts nicht entscheiden lässt
Zwei Widersprüche stehen im Raum. Erstens misst die Synthese bei gleichem Budget im Mittel -0,042. Wunderlich et al. messen dagegen +1,3 Prozentpunkte für Debate und +2,7 für MoA gegenüber Self-Consistency. Zweitens sieht „Beyond Symmetric Agents“ bei gleichem Generierungsbudget Gleichstand oder Verlust gegen Self-Consistency. Wunderlich et al. sehen einen Vorsprung. Hinzu kommt die Fehlerdiversität. Die Synthese nennt sie als Gewinnbedingung, die zweite Studie verwirft sie als Treiber.
Woran das liegt, ist anhand der Abstracts nicht zu klären. Mehrere Ursachen kommen infrage. Die Synthese poolt neun Studien über viele Konfigurationen hinweg. Wunderlich et al. nutzen dagegen nur MMLU-Pro und BBH. Die Studien unterscheiden sich in Aufgaben und Modellklassen, kleine offene Modelle hier, verschiedene Modellgrößen dort. Auch Methoden und Varianten weichen voneinander ab, etwa bei Debate und MoA. Und die Budgetdefinition könnte eine Rolle spielen: Generierungsbudget gegenüber Gesamt-Compute. Ob einer dieser Faktoren den Unterschied erklärt, ist bislang nicht bekannt. Offen bleibt ebenso, ob Wunderlich et al. zu den neun Studien der Synthese gehören und wie die Kategorien B und C genau definiert sind.
Eine kleine Replikation auf GitHub beruft sich auf Wunderlich et al. Sie geht in dieselbe Richtung: Mit Qwen3-32B und 100 MMLU-Pro-Fragen bildet MoA mit L=1 das Knie der Pareto-Front. Bei gleichem Budget übertrifft es die Self-Consistency. Bei 100 Fragen und einem einzelnen Modell ist das allenfalls ein schwaches Indiz. Ein Urteil darüber, welche Seite recht hat, erlaubt die Lage nicht.
Teams sollten Mehrkosten gegen Sample- und Compute-Baselines rechnen
Für Teams, die Multi-Agenten-Systeme bauen oder einkaufen, folgt daraus eine klare Prüfregel. Der Mehrwert gehört gegen Baselines mit gleicher Sample-Zahl oder gleichem Budget gemessen, nicht gegen einen einzelnen Greedy-Durchlauf. Nur so zeigt sich, ob die Koordination etwas beiträgt oder ob schlicht mehr Rechenaufwand floss. Wer Anbieter-Benchmarks bewertet, sollte genau nach dieser Baseline fragen und die Kosten in Tokens und Laufzeit gegenrechnen. „Beyond Symmetric Agents“ beziffert den Mehraufwand von Debate auf das 1,6-Fache an Zeit und das 3,4-Fache an Tokens.
Die Synthese nennt außerdem Bedingungen, unter denen Gewinne wahrscheinlicher werden: getrennte Evidenz, externe Verifikation und Fehlerdiversität über Modelle hinweg. Wunderlich et al. zeigen, dass MoA und Debate unter bestimmten Bedingungen auch bei gleichem Budget vorn liegen können. Die Entscheidung hängt also vom konkreten Einsatz ab. Gemessen werden kann sie nur am eigenen Workload.
Auch für Forschende wird der Spielraum enger. Wer Multi-Agenten-Ansätze veröffentlicht, muss damit rechnen, dass Gutachtende die Checkliste der Synthese anlegen. Was das für frühere Berichte bedeutet, ist bislang nicht bekannt.



