VisSearch-Bench: Bestes von 16 Modellen löst nur 26,47 % der visuellen Suchaufgaben

Bestes von 16 Modellen löst nur 26,47 % der visuellen Suchaufgaben

Forschende der Tsinghua University, der Ant Group und der Renmin University of China haben VisSearch-Bench vorgestellt, einen neuen Benchmark für multimodale Suchagenten. Er umfasst 204 von Menschen geschriebene Aufgaben. Getestet wurden 16 multimodale Modelle. Selbst das beste System löst auch mit Suchwerkzeugen nur 26,47 % der Aufgaben vollständig.

Gemessen wird, wie Agenten mit visuellem Kontext über mehrere Suchschritte hinweg umgehen. Die Autoren kritisieren, dass Bilder in manchen Suchaufgaben vor allem eine Start-Entität identifizieren sollen. Danach folgt reine Textsuche. Aus Sicht der Autoren verraten solche Aufgaben wenig darüber, wie Agenten Informationen über Bilder, Objekte und Suchschritte hinweg verknüpfen. VisSearch-Bench verlangt daher, dass Agenten Objektaussehen, lokale Details oder räumliche Beziehungen mit externen Informationen verbinden. Diese Verbindungen müssen sie im Suchverlauf weiter nutzen.

Die Autoren deuten die Ergebnisse als deutliche Schwäche aktueller Agenten beim Verwalten visuellen Kontexts über lange Suchverläufe. Das ist ihre Interpretation. Der entsprechende Satz im Abstract liegt nur abgeschnitten vor. Unabhängig geprüft ist diese Deutung bislang nicht.

Fünf Aufgabenfamilien, zwei Metriken, 7 Domänen

Die Aufgaben verteilen sich auf 7 Hauptdomänen und 25 Subdomänen. Sie gehören zu fünf Familien: Set-wise Visual Search, Sequential Visual Search, Hybrid Wide-Deep Search, Competitive Visual Disambiguation und Visual-Structure-Guided Search. Jede Aufgabe enthält eine Referenzantwort, nachvollziehbare Belege und Bewertungsregeln.

Zwei Metriken werten die Läufe aus. Die Accuracy misst den vollständigen Aufgabenerfolg. Der Process Score bewertet, wie korrekt und vollständig einzelne Ergebnisse und Teilantworten ausfallen. So zeigt er, wie weit ein Agent kommt, selbst wenn er die Gesamtaufgabe verfehlt.

Die englische Fassung VisBench-EN umfasst 204 Fragen im Test-Split. Auf 187 Fragen entfallen 190 Eingabebilder. Bei 17 Fragen der Set-wise Visual Search fehlt ein Anfangsbild. Fragen, Antworten und Prompts sind Übersetzungen der überarbeiteten chinesischen Fassung.

Code und Datensatz öffentlich, Autoren aus Hochschul-Industrie-Kooperation

Ein offizielles GitHub-Repository und ein Hugging-Face-Datensatz stehen öffentlich bereit. Sie enthalten Referenzantworten, evidenzverknüpfte Referenzlösungen und aufgabenspezifische Bewertungsprompts. Das Repository dokumentiert Hauptergebnisse für die Setups Direct Answer, ReAct und DeerFlow. Veröffentlicht sind außerdem der Inferenzcode für Direct und ReAct sowie die Auswertung beider Metriken.

Zu den Autoren zählen ZhengXian Wu, Qianhao Nie und Zhuohong Chen. Für die Korrespondenz sind Kai Yang und Haoqian Wang genannt. Die Arbeit entstand teils während eines Praktikums bei der Ant Group. Die Quelle ist also keine unabhängige Studie, sondern das Ergebnis einer Kooperation zwischen Hochschule und Industrie.

Ob die Deutung der Autoren trägt, können unabhängige Replikationen auf dem öffentlichen Datensatz klären, ergänzt durch eine Fehleranalyse am Volltext. Aus dem vorliegenden Material lassen sich keine belastbaren Aussagen zu konkreten Produkten ableiten.