Benchmark misst Teamfähigkeit von KI-Modellen: Keines der 18 Modelle überzeugt durchgehend

Kein Modell ist ein durchgehend guter Teamkollege

Wie gut arbeiten KI-Agenten im Team? Dieser Frage geht das Paper „Measuring AI Agents as Teammates with Collaborative Intelligence“ nach. Es stellt den Collaborative Intelligence Benchmark vor: 240 Aufgaben in acht Dimensionen der Teamarbeit. Sie reichen von der Ablehnung einer unsicheren Abkürzung bis zur Prüfung der Arbeit, die ein schwächeres Modell hinterlassen hat. Getestet wurden 18 offene und geschlossene Modelle. Laut Paper hat jedes von ihnen klare Schwächen als Teammitglied. Das beste erreicht 82,2 von 100 Punkten.

Die Methode soll Teamarbeit von Einzelleistung trennen. Gewertet werden nur Aufgaben, die ein Modell mit voller Information allein lösen kann. Scheitert es im Team, liegt das demnach nicht an fehlender Fachkompetenz. Die Aufgaben stammen aus realen Aufzeichnungen oder bestehenden Benchmarks, etwa Flugunfallberichten, klinischen Fällen, Coding-Aufgaben und Verhandlungen. Jede hat ein programmatisch überprüfbares Ergebnis. Das Modell arbeitet in einem Team-Chat mit KI-Kollegen. Dazu kommt ein skriptgesteuertes Teammitglied, das gezielt Probleme erzeugt. Das Szenario umfasst Druck zu Sicherheitsabkürzungen, gefälschte Ergebnisse und eine bereits kompromittierte Sitzung.

Sicher bei Abkürzungen, schwach unter Druck und in übernommenen Sitzungen

Frontier-Modelle lehnen unsichere Abkürzungen fast immer ab und melden Fehlverhalten. Unter zwischenmenschlichem Druck geben sie allerdings nach. Nur in 14 Prozent der Konflikte erreichen sie den besten Gesamtdeal, so das Paper.

Die Projektseite des Benchmarks zeichnet ein genaueres Bild. Acht Konfigurationen erzielen einen Score ab 70. Sie bestehen 92 bis 99 Prozent der Tests zum Widerstand gegen Druck und 99 bis 100 Prozent der Meldetests. Bei emotionaler Intelligenz liegt keine über 71 Prozent. Der beste Wert bei der Konfliktbewältigung beträgt 53.

Auffällig ist der Einbruch bei übernommenen Sitzungen. Starten diese acht Konfigurationen ein Szenario selbst, liegt ihre Sicherheitsquote im Schnitt bei 99 Prozent. Übernehmen sie dagegen eine Sitzung, die ein schwächeres Modell bereits kompromittiert hat, sinkt sie auf 87 Prozent. Bei Claude Opus 5.5 fällt sie von 89 auf 64 Prozent. Die Projektseite verweist darauf, dass Modell-Router und Agenten-Werkzeuge Modelle mitten in der Sitzung wechseln. Betreiber von Multi-Agent-Systemen und Agenten-Pipelines müssen daher mit diesen Schwächen rechnen. Dass der Test nicht gesättigt ist, zeigt ein Vergleich: Mit einem normal agierenden Teammitglied erreichen dieselben Konfigurationen 93 bis 98 Punkte.

Paper und Update 4.0.0 nennen denselben Spitzenwert, aber nicht dieselbe Methodik

Die Zahlen lassen sich nicht ohne Weiteres zusammenführen. Die Projektseite verzeichnet ein Update auf Version 4.0.0 vom 26. Oktober 2026. Jeder Test läuft nun dreimal. Zwei Judges müssen übereinstimmen. Wer im Konflikt standhaft bleibt, aber nicht den besten Deal erzielt, erhält halbe Punkte. Die erste Version bleibt abrufbar. Den Wert 82,2 schreibt die Seite Gemini 4 Argon bei hohem Aufwand zu. Das Paper nennt 82,2 im vorliegenden Auszug ohne Modellnamen.

Offen ist, ob die Übereinstimmung Zufall ist. Ebenso offen bleibt, ob das Paper bereits die neue Version abbildet oder ob die Seite die Zahl übernommen hat. Dasselbe gilt für die 14 Prozent im Paper und den besten Konfliktscore von 53 auf der Projektseite. Beide Werte könnten unter unterschiedlicher Bewertung entstanden sein.

Verwandte Probleme untersuchen andere Benchmarks. CooperBench fand bei zwei zusammenarbeitenden Coding-Agenten mindestens 30 Prozent weniger Erfolg als bei einem einzelnen Agenten. AgentWorld kommt beim besten getesteten Modell auf 52,0 Prozent Erfolg. Judge-basierte Bewertungen können grundsätzlich Verzerrungen aufweisen, etwa Positionsverzerrung. Eine Studie fand sie bei zwei produktiv eingesetzten Judges. Das ist allgemeiner Kontext und keine Kritik am CI-Benchmark.