KI SpotlightNewsGoogle DeepMind führt agentische Videoanalyse für drei Gemini-Modelle ein
Neue Funktion kombiniert Code-Ausführung mit nativen Video-Tools und senkt Token-Verbrauch um bis zu 88 Prozent
Mit KI erstellt◆ Fakten auf einen Blick
- Google DeepMind führt agentic video understanding für Gemini 3.7 Flash, 3.6 Flash und 3.5 Flash-Lite ein.
- Die Funktion ist ab sofort für Video-Uploads und YouTube-Videos über die Gemini API in Google AI Studio und der Gemini Enterprise Agent Platform verfügbar.
- Agentic video understanding kombiniert Code-Ausführung mit nativen Video-Tools, um dynamisch nach Zielsegmenten zu suchen, zu scannen und zu inspizieren, über visuelle Frames, Audio und Transkripte.
- Laut Hersteller reduziert die Funktion Analysekosten um bis zu 66%, Token-Verbrauch um bis zu 88% und verbessert Genauigkeit um bis zu 7% auf Standard-Videoanalyse-Benchmarks.
- Die Funktion ermöglicht neue Fähigkeiten wie Sub-Second Moment Retrieval, genauere Anomalieerkennung und präzises Zählen.
- Die Effizienzgewinne sind besonders ausgeprägt bei Langform-Videos (10-Minuten-Anleitungen bis 90-Minuten-Vorlesungen und mehrstündige Aufnahmen).
Agentic Video Understanding ab sofort für drei Gemini-Modelle verfügbar
Google DeepMind hat eine neue Fähigkeit zur agentischen Videoanalyse für drei Gemini-Modelle eingeführt. Die Funktion steht ab sofort für Gemini 3.7 Flash, Gemini 3.6 Flash und Gemini 3.5 Flash-Lite zur Verfügung. Entwickler können sie über die Gemini API in Google AI Studio sowie über die Gemini Enterprise Agent Platform nutzen – sowohl für hochgeladene Videos als auch für YouTube-Videos.
Die neue Funktion geht über die bisherige statische Verarbeitung hinaus, bei der Videos mit einer festen Bildrate – standardmäßig ein Bild pro Sekunde, per API anpassbar – eingelesen wurden. Stattdessen kombiniert die agentische Videoanalyse die Kernfähigkeiten des Modells mit nativen Video-Tools. Das Modell kann dadurch gezielt nach relevanten Segmenten suchen, diese scannen und inspizieren – über visuelle Frames, Audio und Transkripte hinweg.
Nach Angaben von Google DeepMind ähnelt der Ansatz der bereits bekannten agentischen Bildanalyse, die Code-Ausführung mit dem nativen Bildverständnis der Gemini-Modelle verbindet. Bei der Videoanalyse kommen nun entsprechende native Video-Tools zum Einsatz, um die Verarbeitung dynamischer zu gestalten und neue Fähigkeiten zu erschließen.
Dynamische Videoanalyse senkt Kosten und Token-Verbrauch deutlich
Die technische Grundlage der neuen Fähigkeit ist die Kombination aus Code-Ausführung und nativen Video-Tools. Anders als beim statischen Processing, bei dem das Modell ein Video mit einer festen Bildrate vollständig einliest, kann das Modell nun dynamisch nach Zielsegmenten suchen, diese scannen und gezielt inspizieren. Dabei greift es auf visuelle Frames, Audio und Transkripte zu. Beim statischen Processing zwinge die feste Bildrate Entwickler dazu, entweder viele Tokens zu verbrauchen oder durch eine niedrigere Bildrate wichtige, nur kurz sichtbare Informationen zu verpassen.
Laut Hersteller reduziert die agentische Videoanalyse die Analysekosten um bis zu 66 Prozent und den Token-Verbrauch um bis zu 88 Prozent. Gleichzeitig verbessere sich die Genauigkeit auf Standard-Benchmarks für Videoanalyse um bis zu 7 Prozent. Die Effizienzgewinne seien besonders ausgeprägt bei Langform-Videos – von zehnminütigen Anleitungen über 90-minütige Vorlesungen bis hin zu mehrstündigen Aufnahmen.
Die neue Funktion ermöglicht zudem Fähigkeiten, die mit statischer Verarbeitung nicht oder nur eingeschränkt möglich waren: das Auffinden von Momenten im Sub-Sekunden-Bereich, eine genauere Anomalieerkennung sowie präzises Zählen von Objekten oder Ereignissen im Videomaterial.
