CLASHarness: Neuer Benchmark prüft, wie Computer-Use-Agenten mit Konflikten umgehen

CLASHarness prüft Konflikte zwischen Agenten statt reiner Kooperation

CLASHarness (Conflict-Loaded Agent Scenario Harness) ist ein steuerbares Framework für Multi-Agenten-Konflikte in Computer-Use-Aufgaben. Es erzeugt verifizierbare Konflikte und umfasst einen Benchmark mit 600 mehrstufigen Aufgaben. Das Paper trägt die arXiv-Kennung 2610.19128 und ist auch auf Hugging Face gelistet, unter anderem in der Google-Organisation unter deren Papers.

Die Autoren setzen bei einer Annahme bisheriger Benchmarks an. Laut Paper unterstellten diese überwiegend konsistente, kooperative Umgebungen. Im realen Arbeitsalltag sei das selten so. Peer- oder Sub-Agenten melden veraltete Zustände, geben widersprüchliche Anweisungen oder konkurrieren um gemeinsame Berechtigungen und Dateien. Ein Agent muss deshalb fremde Ausgaben prüfen und die Grundwahrheit direkt in der Umgebung verifizieren. Genau diese Konfliktauflösung will CLASHarness messbar machen. Dabei handelt es sich um die Problembeschreibung der Autoren, nicht um das Ergebnis einer unabhängigen Untersuchung.

Acht Stufen sollen jede Aufgabe konstruktionsbedingt lösbar machen

Laut Abstract entstehen die Aufgaben aus hierarchischer Szenarioplanung und einer achtstufigen, verifizierten Mikro-Pipeline. Sie legt entscheidende visuelle Fakten fest, bevor die Szenen gerendert werden. Die Grader, die Code- und semantische Prüfung verbinden, kompilieren die Autoren direkt aus ausgeführten Referenztrajektorien. Daraus folgt nach Angaben der Autoren, dass jede Aufgabe konstruktionsbedingt lösbar ist. Das ist eine Selbstauskunft. Nachprüfen lässt sie sich erst mit Code und Daten.

Den Aufwand begründen die Autoren mit zwei Problemen. Manuelles Authoring skaliere nicht über komplexe Systeme hinweg. Unbeschränkte LLM-Generierung führe dagegen zu Narrative Drift, Answer Leakage und unerfüllbaren Bewertungsrubriken; Aufgaben seien dann am Ende gar nicht lösbar. Wer die Lösung vorab festlegt und die Bewertung aus einem tatsächlich ausgeführten Lösungsweg ableitet, will diese Fehler vermeiden.

Schwächen der Frontier-Modelle: Behauptung ohne sichtbare Zahlen

Laut den Autoren zeige der Benchmark, dass Frontier-Vision-Language-Modelle Schwierigkeiten hätten, Grundwahrheit zu verifizieren, Konflikte aufzulösen und gemeinsame Ressourcen zu koordinieren. Im vorliegenden Material fehlen jedoch Modellergebnisse, Kennzahlen und Abstände, ebenso eine Modellliste. Die Aussage lässt sich deshalb derzeit nicht überprüfen. Belastbar wird sie erst mit dem Volltext und den Ergebnistabellen, einem Code- und Datenrelease sowie einer unabhängigen Replikation.

Sollte sich der Befund bestätigen, beträfe er Anbieter von Computer-Use-Agenten, Unternehmen mit mehreren Agenten auf gemeinsamen Systemen und die Evaluierungsforschung. Welche Modelle besser oder schlechter abschneiden, lässt sich dem Material nicht entnehmen.