ENTRAP-VL: Neuer Benchmark prüft Vision-Language-Modelle auf Kontext-Entrainment

Neuer Benchmark ENTRAP-VL prüft VLMs auf Kontext-Entrainment

Mit ENTRAP-VL stellen Forschende einen neuartigen Benchmark vor, der als taxonomische Sonde das Phänomen des Dual Contextual Entrainment in Vision-Language-Modellen (VLMs) erstmals systematisch messbar macht. Kontext-Entrainment beschreibt die Tendenz eines Modells, seine Ausgabe durch irrelevanten Zusatzkontext im Input verzerren zu lassen – unabhängig von dessen Wahrheitsgehalt oder Relevanz. Der Benchmark operationalisiert dieses Phänomen entlang zweier orthogonaler Achsen: der Modalität des Kontexts (visuell oder textuell) und der Art des Kontexts (entrainierend, neutral oder widersprüchlich). Dazu wurde ein umfangreicher Datensatz aus Bild-Text-Paaren konstruiert, in dem jede Instanz eine Basisaufgabe – etwa die Beschreibung eines Bildinhalts – mit einem systematisch variierten Zusatzkontext kombiniert. Die Messung des Entrainments erfolgt, indem die Modellausgaben unter neutralem Kontext als Referenz dienen und die Abweichung der Ausgaben unter entrainierendem bzw. widersprüchlichem Kontext quantifiziert wird. So lässt sich für jede Modalität und jeden Kontexttyp ein Entrainment-Score berechnen, der sowohl die Stärke als auch die Richtung der Beeinflussung abbildet. Diese taxonomische Struktur erlaubt erstmals eine differenzierte Analyse, welche Kontextarten und Modalitäten bei verschiedenen VLMs zu systematischen Verzerrungen führen.

Skalierung und Optimierung lösen das Problem nicht

Die Evaluation einer breiten Auswahl modernster VLMs mit ENTRAP-VL zeigt, dass alle getesteten Modelle signifikantes Dual Contextual Entrainment aufweisen. Die Stärke und Richtung des Effekts variieren je nach Modellfamilie und Kontexttyp, was auf architektur- und trainingsbedingte Unterschiede in der Anfälligkeit für visuelle oder textuelle Kontextverzerrungen hindeutet. Entscheidend ist jedoch: Keine der üblichen Strategien zur Verbesserung der Modellgüte kann das Entrainment beheben. Die Forscher verglichen Modelle unterschiedlicher Skalierung (z. B. Basis- und größere Varianten derselben Architektur), Modelle mit und ohne Instruction Tuning sowie Ausgaben mit und ohne Chain-of-Thought-Prompting. In allen Fällen blieb das Entrainment auf vergleichbarem Niveau bestehen – die Verzerrung durch irrelevanten Kontext wurde also nicht reduziert. Dies deutet darauf hin, dass die zugrundeliegenden Mechanismen des Entrainments von den üblichen Optimierungsverfahren nicht adressiert werden. Die praktischen Konsequenzen sind gravierend: In einer visuellen Frage-Antwort-Aufgabe kann etwa ein entrainierender visueller Kontext (z. B. ein auffälliges, aber für die Frage irrelevantes Objekt im Bild) das Modell dazu verleiten, eine falsche Antwort zu geben, die sich auf dieses Objekt bezieht, anstatt die eigentliche Frage korrekt zu beantworten. Solche systematischen Fehler untergraben die Zuverlässigkeit in sicherheitskritischen Anwendungen. Um die weitere Erforschung des Phänomens und die Entwicklung robusterer Modelle zu ermöglichen, stellen die Autoren Datensatz und Code des Benchmarks öffentlich zur Verfügung.