Warum Video-LLMs teuer bleiben: Neues Survey analysiert Inferenz-Effizienz

Neues Survey analysiert Kostenfallen bei Video-LLMs

Video Large Language Models (VideoLLMs) haben in den vergangenen Jahren starke Ergebnisse bei Aufgaben wie Bildunterschriftenerstellung, Frage-Antwort-Systemen, Retrieval und zeitlicher Verankerung erzielt. Doch diese Leistung hat einen Preis: Rechenaufwand und Speicherbedarf wachsen mit der Anzahl der Frames und der Kontextlänge. Genau hier setzt ein neues Survey-Paper an, das den vollständigen Titel „Why Is Video Still So Expensive? A Survey of Inference-Efficiency Mechanisms in Video and Audiovisual LLMs“ trägt.

Das Paper untersucht nach eigenen Angaben Inferenz-Effizienztechniken für visuelle und audiovisuelle VideoLLMs, die konkrete Reduktionen bei Parameterzahl, FLOPs pro Eingabe, Latenz, Speicher oder visueller und auditiver Token-Anzahl berichten. Damit konzentriert es sich erstmals spezifisch auf die Frage, wie sich die Kosten von Video-LLMs in der Inferenz senken lassen – ein Fokus, den bisherige Surveys in dieser Form nicht setzen. Der Anspruch des Papers ist es, die Engpässe entlang der gesamten Verarbeitungspipeline zu analysieren und Methoden danach zu ordnen, an welcher Stelle sie wirken. Es deckt nach eigenen Angaben VideoLLMs ab, die seit Ende 2022 entwickelt wurden, sowie frühere Frame-Sampling- und Vision-Encoder-Mechanismen, die weiterhin Bestandteil aktueller Pipelines sind.

Vier Stufen der Kostenreduktion: Vom Frame Sampling bis zum Decoding

Das Survey organisiert die erfassten Effizienzmechanismen entlang von vier Pipeline-Stufen und benennt für jede Stufe die konkreten Berechnungs- und Speichermechanismen, die für die Kosten verantwortlich sind.

Die erste Stufe ist das Frame Sampling. Hier wird entschieden, welche Einzelbilder eines Videos überhaupt in das Modell gelangen. Eine Reduktion der Frames senkt unmittelbar die Rechenlast, bevor überhaupt ein Encoder oder das LLM involviert ist.

Die zweite Stufe ist das Modalitäts-Encoding, also die Umwandlung von Bild- und Tondaten in Vektorrepräsentationen durch Encoder. Effizienzmechanismen auf dieser Stufe zielen darauf ab, entweder kleinere Encoder zu verwenden oder die Encoder-Berechnung selbst zu beschleunigen.

Die dritte Stufe ist die Connector-Level-Token-Reduktion. Zwischen Encoder und Sprachmodell sitzt in der Regel ein Verbindungsmodul, das die visuellen und auditiven Repräsentationen in Tokens für das LLM übersetzt. Die Anzahl dieser Tokens bestimmt direkt die Eingabelänge für das LLM. Jede Reduktion der Token-Anzahl senkt daher den Rechenaufwand und verringert den Speicherbedarf.

Die vierte Stufe umfasst das LLM-Prefilling und -Decoding. Effizienzmechanismen auf dieser Stufe umfassen etwa die Reduktion der Modellgröße (Parameterzahl), die Optimierung der Attention-Berechnung oder das Pruning des KV-Caches. Das Survey erfasst dabei Mechanismen, die konkrete Reduktionen bei Parameterzahl, FLOPs pro Eingabe, Latenz, Speicher oder Token-Anzahl berichten.

Blinde Flecken: Audiovisuelle Effizienz und fehlende Standards

Das Survey identifiziert zwei zentrale Lücken, die den Praxiseinsatz und die Vergleichbarkeit behindern. Die erste betrifft die audiovisuelle Effizienz: Während für rein visuelle VideoLLMs eine Reihe von Effizienzmechanismen dokumentiert ist, fehlen nach Angaben des Papers vergleichbare Untersuchungen für Modelle, die Bild und Ton gemeinsam verarbeiten. Das ist insofern relevant, als audiovisuelle Modelle zusätzliche Token-Ströme verarbeiten müssen und damit potenziell andere oder zusätzliche Engpässe aufweisen. Ohne belastbare Daten zu Effizienzmechanismen für Audio-Tokens lassen sich Kostenreduktionen nicht verallgemeinern, und Entwickler audiovisueller Systeme müssen auf Annahmen statt auf empirische Belege zurückgreifen.

Die zweite Lücke liegt in der standardisierten Evaluation. Das Survey stellt fest, dass Genauigkeits-Kosten-Vergleiche in der Literatur häufig unter unterschiedlichen Host-Modellen und Eingabeprotokollen erhoben werden. Es versucht zwar, literaturberichtete Vergleiche unter gemeinsamen Bedingungen zusammenzustellen und von heterogener Cross-Paper-Evidenz zu unterscheiden. Doch genau diese Heterogenität behindert die Vergleichbarkeit: Ohne einheitliche Messbedingungen lässt sich schwer beurteilen, welcher Mechanismus tatsächlich effizienter ist. Für den Praxiseinsatz bedeutet das, dass Entscheidungen über den Einsatz bestimmter Techniken auf unsicherer Datengrundlage getroffen werden müssen – ein Risiko für realzeitfähige, mobile oder ressourcenbeschränkte Anwendungen.

Abgrenzung zu früheren Surveys: Effizienz als eigener Fokus

Das neue Survey unterscheidet sich von bestehenden Übersichtsarbeiten in zwei Richtungen, und diese Abgrenzung ist methodisch begründet. Auf der einen Seite gibt es Surveys, die Video-Verstehen mit LLMs breit behandeln, ohne Effizienz in den Mittelpunkt zu stellen. Dazu gehört „Video Understanding with Large Language Models: A Survey“, das die Fähigkeiten von Vid-LLMs kategorisiert und Aufgaben, Datensätze und Evaluationsmethoden untersucht. Der Fokus liegt dort auf der emergenten Fähigkeit zum multi-granularen Reasoning, nicht auf der Frage, wie teuer diese Fähigkeit in der Inferenz ist. Auch „A Survey on Generative AI and LLM for Video Generation, Understanding, and Streaming“ deckt generative KI und LLMs für Video-Generierung, -Verstehen und -Streaming ab, ohne einen spezifischen Effizienzfokus zu setzen. Beide Surveys liefern wertvolle taxonomische Übersichten, aber sie analysieren nicht systematisch, welche Berechnungs- und Speichermechanismen entlang der Video-Pipeline Kosten verursachen und wie diese reduziert werden können.

Auf der anderen Seite existieren Surveys zur effizienten LLM-Inferenz, die jedoch nicht videospezifisch sind. „LLM Inference Unveiled: Survey and Roofline Model Insights“ analysiert LLM-Inferenztechniken anhand eines Roofline-Modells und behandelt Modellkompression, Algorithmusverbesserungen sowie Hardware- und Systemebene. „A Survey on Efficient Inference for Large Language Models“ organisiert die Literatur in daten-, modell- und systemebenen Optimierungen. Beide befassen sich mit allgemeinen Sprachmodellen, nicht mit den besonderen Anforderungen von Video-LLMs, bei denen visuelle und auditive Token-Ströme hinzukommen. Dadurch entsteht eine methodische Lücke: Die allgemeinen Effizienz-Surveys berücksichtigen nicht die Frame-Sampling-Entscheidungen, die Encoder-spezifischen Kosten oder die Connector-Level-Token-Reduktion, die für Video-LLMs charakteristisch sind. Das neue Survey schließt diese Lücke, indem es den Video-Fokus mit der Effizienzfrage verbindet und die Pipeline-Stufen als Ordnungsprinzip nutzt.

Praxis: Token-Pruning-Ansätze wie LGTTP, SharpV und PruneVid

Konkrete Implementierungen zeigen, wie Token-Pruning in der Praxis aussehen kann. LGTTP (Language-Guided Temporal Token Pruning) nutzt zeitliche Hinweise aus der Anfrage, um Video-Tokens adaptiv zu reduzieren. Das Verfahren ist nach Angaben der Autoren modellagnostisch und lässt sich mit TimeChat und LLaVA-Video integrieren. Es erreicht demnach eine Reduktion des Rechenaufwands um 65 Prozent bei einem Erhalt von 97 bis 99 Prozent der ursprünglichen Leistung. Der Code ist auf GitHub verfügbar.

SharpV (Information-Aware Visual Token Pruning) stammt von der Hong Kong University of Science and Technology (Guangzhou) und setzt auf adaptives Pruning von visuellen Tokens und KV-Cache. Das Verfahren passt die Pruning-Raten dynamisch an räumlich-zeitliche Informationen an und kommt nach Angaben der Autoren ohne Zugriff auf exponierte Attention-Scores aus, was die Kompatibilität mit Hardware-Beschleunigung wie Flash Attention sichert. PruneVid wiederum ist ein trainingsfreies Verfahren, das räumlich-zeitliche Tokens zusammenführt und mithilfe der Attention-Mechanismen im LLM nur die für die Frage relevanten visuellen Tokens behält. Es ist mit PLLaVA, ST-LLM und LLaVA-OneVision integriert und unter der Lizenz CC BY-NC-SA 4.0 auf GitHub veröffentlicht. Alle drei Ansätze sind Open Source und demonstrieren, dass Token-Pruning entlang der im Survey beschriebenen Pipeline-Stufen praktisch umsetzbar ist.