KI SpotlightNewsEvaOmni misst bei Omni-Modellen auch die Belege: 79,1 % Genauigkeit, 12,3 % B.G.
Der neue Benchmark verlangt zusätzlich zur Antwort die passenden Audio- und Bildintervalle. Gemini3.7-Flash führt, doch zur menschlichen Referenz bleibt ein weiter Abstand.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- EvaOmni enthält 392 Videos und 1.027 von Menschen annotierte Frage-Antwort-Paare zu 15 Fähigkeiten.
- Die Fähigkeiten reichen von Retrieval und Lokalisierung über Basisverständnis bis komplexes Schlussfolgern.
- Die Videos sind 1 bis 12 Minuten lang und stammen aus verschiedenen realen Szenarien.
- Modelle geben neben der Antwort Belegintervalle für Audio und Bild getrennt zurück.
- Die Hauptmetriken sind C.G. und B.G.; eine falsche Antwort ergibt bei beiden null.
Benchmark verlangt Belegintervalle: 79,1 % Genauigkeit, aber nur 12,3 % B.G.
EvaOmni bewertet omnimodale Sprachmodelle nicht allein nach der Antwort. Maßgeblich sind auch die Audio- und Bildintervalle, die ein Modell als Beleg angibt. Auf Level 3, dem komplexen Schlussfolgern, erreicht Gemini3.7-Flash 79,1 % Genauigkeit. Beim Bottleneck Grounded Score (B.G.) sind es nur 12,3 %.
Der B.G. bestraft schwache zeitliche Lokalisierung in einer der beiden Modalitäten. Eine Antwort kann also stimmen, während die Belege deutlich danebenliegen.
Laut aiweekly.co stammt der Benchmark von Forschenden der Fudan University, der Shanghai Jiao Tong University, der Tsinghua University, des Tencent Youtu Lab und weiterer chinesischer Institutionen. Das ist eine Angabe dieser Quelle.
392 Videos, 1.027 Fragen, 15 Fähigkeiten
Der Benchmark umfasst 392 Videos mit einer Länge von 1 bis 12 Minuten aus verschiedenen realen Szenarien. Hinzu kommen 1.027 Frage-Antwort-Paare, die ausschließlich von Menschen annotiert wurden. Sie decken 15 Fähigkeiten auf drei Ebenen ab: Retrieval und Lokalisierung, Basisverständnis und komplexes Schlussfolgern. Jede Frage enthält zeitliche Intervalle und Beschreibungen der stützenden Audio- und Bildbelege.
Für die Annotation markieren Experten die Audio- und Bildbelege und erstellen videobasierte Distraktoren. Menschen prüfen danach, ob die Fragen strenge Kriterien erfüllen. Zuletzt filtern Modelle textuelle und unimodale Shortcuts aus, also Fragen, die sich ohne die nötigen Audio- und Bildinformationen beantworten ließen.
Modelle liefern eine Antwort und Belegintervalle, getrennt nach Audio und Bild. Die Hauptmetriken sind der Coverage Grounded Score (C.G.) und der Bottleneck Grounded Score (B.G.). Ist die Antwort falsch, ergeben beide Werte null. Die Autoren nennen ihre Annotationsprozeduren „rigoros“ und die Frage-Antwort-Paare „hochwertig“. Das ist Selbstauskunft und nicht unabhängig geprüft.
Gemini führt unter den Modellen, doch zum Menschen bleibt ein weiter Abstand
Nach den Zahlen von aiweekly.co führt Gemini3.7-Flash die Gesamtwertung mit 79,4 % Genauigkeit, 70,8 % C.G. und 35,1 % B.G. an. Die menschliche Referenz erreicht 94,3 % B.G.
Auf Level 3 kommt das beste Open-Weight-Modell, MiMo-V2.5-310B-A15B, auf 56,8 % Genauigkeit und 20,5 % B.G. Sein B.G. liegt damit über dem von Gemini3.7-Flash auf dieser Ebene (12,3 %). Bei der Genauigkeit bleibt es deutlich darunter. Qwen3-Omni-Instruct-30B-A3B erreicht 0,4 % B.G. Das Material nennt keine Ursachen für diese Abstände.
Offen: Wie neu der Ansatz ist und ob die Annotationen halten
Wie neu EvaOmni ist, lässt sich aus dem Material nur teilweise beurteilen. Daily-Omni (684 Videos, 1.197 Fragen) filtert bereits Text-Leakage. AV-SpeakerBench und OmniClean adressieren visuelle Shortcuts. Nach den vorliegenden Angaben liegt der Schwerpunkt dieser Benchmarks jedoch auf der Genauigkeit bei Multiple-Choice-Fragen, nicht auf zeitlich verorteten Belegen.
Unabhängige Reaktionen liegen bislang nicht vor. Die Annotationsqualität ist ungeprüft. Der Evaluationscode steht auf GitHub, die Datensätze liegen auf Hugging Face und ModelScope. Dritte können die Ergebnisse damit nachprüfen.
