KI SpotlightNewsVideoZeroBench: Kein Video-Modell kommt über 1,8 Prozent, wenn Antwort und Fundstelle zählen
Das neue Benchmark für lange Videos prüft neben der Antwort auch Zeitintervalle und Bounding Boxes. Die Quellen weichen bei Modellanzahl und Bestwerten voneinander ab.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Das Benchmark „VideoZeroBench“ enthält manuell annotierte Frage-Antwort-Paare aus 13 Videodomänen.
- Das Fünf-Level-Protokoll kombiniert Antwortkorrektheit mit zeitlichem und räumlichem Grounding.
- Auf Level 5 verlangt das Protokoll korrekte Antwort und genaue Raum-Zeit-Lokalisierung gemeinsam.
- Im Paper wurden 19 Modelle evaluiert; „Gemini-3.7-Flash“ erreicht die beste QA-Genauigkeit (Level 3) von 24,8 %.
- Kein Modell übersteigt auf Level 5 eine Genauigkeit von 1,8 %.
Kein Video-Modell über 1,8 Prozent, wenn Antwort und Fundstelle zählen
VideoZeroBench ist ein neues Benchmark für lange Videos. Es prüft Video-MLLMs nicht nur auf die richtige Antwort. Gefragt wird auch, ob das Modell die passende Stelle findet: zeitliche und räumliche Evidenz, also Zeitintervalle und Bounding Boxes. Laut Affiliationen im Paper stammen die Autoren von PKU, WHU, CASIA, BJTU und UC Merced.
Getestet wurden laut Paper-Abstract und GitHub-Repository 19 Modelle. Das beste Ergebnis bei der Standard-QA-Genauigkeit (Level 3) liegt bei 24,8 Prozent, erzielt von Gemini-3.7-Flash. Auf Level 5 kommt kein Modell über 1,8 Prozent. Dieser Level verlangt eine korrekte Antwort und eine genaue Lokalisierung in Raum und Zeit zugleich. Die meisten Open-Source-Video-MLLMs erreichen dort laut Repository null Prozent.
Die Zahl „nahe null“ gilt nur für diese strenge Kombinationsmetrik. Über Grounding allein sagt sie nichts aus. Auch die reine QA-Genauigkeit bleibt mit höchstens 24,8 Prozent niedrig.
Manuell annotierte Evidenz und ein Fünf-Level-Protokoll
Das Benchmark umfasst manuell annotierte Frage-Antwort-Paare aus 13 Videodomänen. Die Fragen zielen auf feine Details, kurze Ereignisse und Evidenz, die sich über mehrere Segmente verteilt. Wo anwendbar, sind Zeitintervalle und Key-Frame-Boxen annotiert. Jede Frage durchlief zwei Runden Kreuzverifikation, geprüft wurden Antwortgültigkeit und Evidenzqualität.
Das Protokoll umfasst fünf Level. Zuerst werden Antworten mit und ohne Evidenzhinweis verglichen. Danach verbindet es die Antwortkorrektheit mit unabhängig bewertetem zeitlichem und räumlichem Grounding. Level 5 fordert alles zusammen. Neu ist der Blickwinkel: Frühere Video-Benchmarks bewerten nach den vorliegenden Angaben nur die Antwort.
Die Beispieldaten zeigen das Annotationsformat. Jede Frage enthält die Antwort, ein Zeitintervall mit Start und Ende in Sekunden sowie Boxen mit Zeitpunkt und normalisierten Koordinaten. Hinzu kommen Fähigkeitslabels wie „small-object perception“ oder „spatial orientation discrimination“.
Weitere Analysen im Paper betreffen atomare Fähigkeiten, Evidenzspannen, Eingabemodalitäten und Inferenz nach dem Muster „thinking-with-videos“. Daraus leiten die Autoren den Bedarf an präziserer Evidenzsuche und Lokalisierung bei langen Videos ab.
Abweichende Zahlen bei Alphasignal und was bislang öffentlich ist
Alphasignal nennt andere Werte als Paper und Repository. Dort ist von 17 Systemen die Rede, von 500 Fragen aus 138 Videos, von Gemini-3-Pro mit 17,0 Prozent auf Level 3 an der Spitze und von höchstens 1,0 Prozent auf Level 5. Paper und Repo nennen dagegen 19 Modelle, 24,8 Prozent und 1,8 Prozent. Aus dem Material geht nicht hervor, woher die Abweichung stammt. Ein Unterschied zwischen Paper-Versionen ist denkbar, aber nicht belegt, zumal Alphasignal keine Version nennt. Maßgeblich bleiben Paper und Repository. Die Versionsfrage ist offen.
Die Formulierungen „extremely challenging“ und „PhD-level expert annotations“ stammen von den Autoren. Unabhängig geprüft sind sie nicht.
Das Repository unterstützt die Evaluation von Qwen2.5-VL und Qwen3-VL über vLLM und VLMEvalKit-lite. Auf Hugging Face liegt bislang nur eine zufällig gezogene Teilmenge von 20 Beispielen, lizenziert unter cc-by-nc-nd-4.0. Wer Video-KI für Antworten einsetzt, die belegt werden müssen, sollte das Grounding gesondert prüfen.
