KI SpotlightNewsOmni-InteractScope: Omni-LLMs scheitern an zeitgerechten Tool-Aufrufen
Ein neuer Benchmark misst proaktives Handeln bei Audio-Video-Streams. Laut den Autoren erreicht keines von zwölf Modellen mehr als 32 Prozent gemeinsame Genauigkeit aus Timing und Tool.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Omni-InteractScope umfasst 1.479 menschlich annotierte, kreuzgeprüfte Interaktionen mit 1.790 zeitlichen Zielen.
- Der Benchmark deckt ereignisgesteuerte Tool-Nutzung, anfragefreie Unterstützung, Benachrichtigungen, Warnungen, Zustandsverfolgung und fortlaufende Antworten ab.
- Bei Tool-Aufruf-Zielen kam eine pünktliche erste Antwort in höchstens 40 % der Fälle.
- Die gemeinsame Genauigkeit aus Timing und Tool lag bei höchstens 32,0 %.
- Neun Modelle decken keine der 26 Guidance-Sequenzen vollständig ab, drei weitere nur ein bis drei.
Zwölf Omni-Modelle verfehlen zeitgerechte Tool-Aufrufe
Aktuelle Omni-LLMs haben Mühe, bei laufenden Audio-Video-Streams rechtzeitig zu handeln. Das berichten die Autoren des Benchmarks Omni-InteractScope. Der Datensatz umfasst 1.479 menschlich annotierte und kreuzgeprüfte Interaktionen mit 1.790 zeitlichen Zielen in acht Aufgabengruppen. Gemessen wird proaktives, agentisches Handeln: ereignisgesteuerte Tool-Nutzung, Benachrichtigungen, Warnungen, Zustandsverfolgung und fortlaufende Antworten. Dafür verknüpft der Benchmark Eingabemodalitäten, Ereignisauslöser, Interventionstypen und Nutzerbedürfnisse.
Die Autoren testeten 12 Modelle. Bei höchstens 40 Prozent der Tool-Aufruf-Ziele kam eine pünktliche erste Antwort. Die gemeinsame Genauigkeit aus Timing und passendem Tool lag bei höchstens 32,0 Prozent. Die Autoren fassen ihre Ergebnisse als drei „kritische Limitationen“ aktueller Omni-LLMs zusammen. Dabei handelt es sich um Herstellerangaben der Studienautoren; eine Replikation durch Dritte liegt bislang nicht vor. Den neuen Benchmark begründen die Autoren damit, dass bestehende Evaluationen nur begrenzt zeigen, wie zuverlässig Modelle Stream-Evidenz und Nutzerbedarf in zeitgerechte, anhaltende Interventionen übersetzen.
Erinnerungen ohne Nutzeranfrage: Recall bleibt unter 23 Prozent
Noch schwächer fällt der Befund bei Erinnerungen aus, die ohne Nutzeranfrage ausgelöst werden sollen. Alle getesteten Modelle erreichten dort einen niedrigeren zeitgerechten Referenzziel-Recall als bei expliziten Fragen. Die Werte beziehen sich jeweils auf die eigenen Zielmengen. Der Recall bei anfragefreien Erinnerungen überstieg nie 23,0 Prozent.
Bei längeren Hilfestellungen zeigt sich dieselbe Lücke. Neun der zwölf Modelle decken keine der 26 Guidance-Sequenzen vollständig ab. Die übrigen drei schaffen jeweils eine bis drei. Auch diese Zahlen stammen aus dem Paper der Autoren.
Zuerst betroffen sind Entwickler von Echtzeit-Assistenten, etwa Sprach- und Videoagenten oder Anwendungen für Smart Glasses. Endnutzer können sich nach diesen Ergebnissen noch nicht darauf verlassen, dass der Assistent zeitgerechte Hinweise von sich aus gibt.
Parallele Benchmarks erheben ähnliche Ansprüche
Omni-InteractScope steht nicht allein. Im selben Zeitraum erschienen verwandte Arbeiten. OmniInteract umfasst 250 Videos mit 1.430 zeitlich verankerten Antwort-Slots; das beste Gesamt-IA-QTF1 liegt dort bei 0,368. Die Autoren von StreamOV nennen ihren SOVBench „first comprehensive benchmark“ für Online-Multi-Turn-Omni-Evaluation. ROMA beansprucht State-of-the-Art-Leistung bei proaktiven Aufgaben. Auch Omni-InteractScope hält bestehende Evaluationen für zu begrenzt.
Ob und wie stark sich die Benchmarks voneinander abgrenzen, lässt sich anhand des vorliegenden Materials nicht beurteilen. Ein Vergleich der jeweiligen Abgrenzungen fehlt. Die Neuheitsansprüche stammen jeweils von den Autoren selbst und sind unabhängig nicht geprüft.
