DataVista: Neuer Benchmark zeigt Lücken bei Datenvideo-Verständnis von MLLMs

DataVista: 961 Datenvideos und 6.775 Fragen als neuer Prüfstein

Datenvideos sind ein Medienformat, das animierte Datenvisualisierungen mit einem Video-Narrativ kombiniert und in Nachrichten sowie Geschäftsanalysen weit verbreitet ist. Im Vergleich zum allgemeinen Videoverständnis erfordert das Verstehen von Datenvideos besondere Fähigkeiten: das präzise Ablesen von Daten aus animierten Diagrammen, die Integration von Evidenz über mehrere Diagramme und Zeitpunkte hinweg sowie das Erfassen, wie narrative Organisation und visuelles Design Informationen vermitteln. Bestehende Benchmarks prüfen jedoch entweder allgemeine Videos oder statische Diagramme – das integrierte Verständnis von Datenvideos wurde bisher nicht systematisch evaluiert. DataVista schließt diese Lücke als erster Benchmark für Datenvideo-Verständnis. Er umfasst 961 reale Datenvideos und 6.775 Evaluationsfragen, die in einem dreistufigen progressiven Framework organisiert sind: Datenwahrnehmung (korrektes Ablesen animierter Diagramme), zeitliches Schließen (Integration von Evidenz über Charts und Zeit) und narratives Verständnis (wie Organisation und visuelles Design kommunizieren). Innerhalb dieser Stufen gibt es 10 feingranulare Fragetypen, verteilt über fünf Themenbereiche. Die fünf Themenbereiche sorgen für eine breite Abdeckung unterschiedlicher Inhalte und Anwendungskontexte, in denen Datenvideos typischerweise eingesetzt werden. Die feingranularen Fragetypen erlauben es, gezielt einzelne Teilfähigkeiten innerhalb der drei Stufen zu isolieren und zu bewerten, statt nur eine pauschale Gesamtleistung zu messen. Durch diese Struktur testet DataVista genau die Fähigkeiten, die für Datenvideos zentral sind, und ermöglicht eine differenzierte Diagnose der Modellstärken und -schwächen.

Bestes Modell erreicht nur 70 Prozent – Schwächen bei Kausalität und Narrativ

Die systematische Evaluation von 19 gängigen multimodalen Large Language Models (MLLMs) zeigt ein ernüchterndes Bild: Das beste Modell, Gemini-3.1-Pro, erreicht lediglich 70,0 Prozent Gesamtgenauigkeit und liegt damit deutlich unter der Leistung menschlicher Experten. Besonders auffällig sind die Schwächen in den Bereichen kausales Schließen und narrative Struktur – genau jene Fähigkeiten, die über das reine Ablesen von Datenpunkten hinausgehen. Die Ursache liegt in strukturellen Defiziten der Modelle: Datenvideos erfordern, kausale Zusammenhänge zwischen animierten Diagrammen und zeitlichen Abläufen herzustellen sowie die narrative Kohärenz des gesamten Videos zu erfassen. Aktuelle MLLMs sind jedoch darauf trainiert, einzelne Frames oder kurze Sequenzen zu verarbeiten, und haben Schwierigkeiten, Evidenz über längere Zeiträume hinweg korrekt zu integrieren und zu beurteilen. Dies führt zu typischen Fehlermodi: Beim Diagrammlesen werden animierte Veränderungen falsch interpretiert, bei der Evidenzbeurteilung werden irrelevante Datenpunkte überbewertet, und beim Instruktionsverständnis wird die eigentliche Frage im narrativen Kontext missverstanden. Die Analyse der Modellantworten bestätigt diese drei Fehlerkategorien. Zusammengenommen deuten die Ergebnisse darauf hin, dass die Modelle zwar einzelne Datenpunkte erkennen, aber keine robuste kausale Schlussfolgerung und kein tiefes narratives Verständnis aufbauen können – Fähigkeiten, die für menschliche Experten selbstverständlich sind.

Mehr Frames und Untertitel helfen nur begrenzt

Die Untersuchung zeigt außerdem, dass eine Erhöhung der Frame-Anzahl und das Hinzufügen von Untertiteln hauptsächlich die Datenwahrnehmung und das zeitliche Schließen verbessern. Mehr Frames liefern zusätzliche visuelle Details, und Untertitel bieten textuelle Anker für gesprochene Inhalte, was das Ablesen von Diagrammen und die Integration über die Zeit erleichtert. Für das narrative Verständnis bringt dies jedoch nur begrenzten Nutzen. Der Grund liegt darin, dass narratives Verständnis eine semantische Verarbeitung der Video-Organisation und des visuellen Designs erfordert – also die Fähigkeit, die intendierte Botschaft und den argumentativen Aufbau zu erfassen. Diese höherstufige Leistung lässt sich nicht allein durch mehr Rohinformationen kompensieren. Die Ergebnisse deuten darauf hin, dass die Schwierigkeiten auf dieser Stufe eine eigenständige Herausforderung darstellen, die andere Modellfähigkeiten erfordert.