Neues arXiv-Paper will Videodekodierung beim zufälligen Frame-Zugriff für KI-Training entlasten

Sparse-Decoding rekonstruiert nur angeforderte Frames samt Referenzen

Auf arXiv ist ein neues Paper erschienen, das in der Kategorie Computer Vision and Pattern Recognition geführt wird. Hugging Face listet es ebenfalls. Der Titel lautet „Rethinking Video Storage for AI Training: Breaking Cross-Frame Dependencies for Efficient Random Access“. Die Autoren nehmen darin die Videospeicherung für KI-Training ins Visier. Ihr Ziel: die Dekodierlast senken, wenn einzelne Frames zufällig abgerufen werden.

Herzstück ist das Dependency-aware Sparse Decoding. Das Verfahren rekonstruiert ausschließlich die angeforderten Frames und die Referenzen, die dafür nötig sind. Alle übrigen Frames bleiben unberührt. Die Quellvideos müssen dafür nicht neu transcodiert werden.

Optional beschreibt das Paper zusätzlich ein Offline-Encoding namens Dependency-Decoupled Random Access (DDRA). Jeder innere Frame ist dabei auf zwei begrenzende Intra-codierte Anker beschränkt. Beim Zugriff fällt damit weniger Rekonstruktionsarbeit an Referenzen an. Beide Bausteine behalten die Inter-Frame-Prediction bei. Laut Abstract liegt das Neue in der gemeinsamen Auslegung von Dekodierplan und Referenzstruktur.

Zwei Quellen für Decode Amplification und die bisherigen Auswege

Die Autoren begründen ihren Ansatz mit einem Missverhältnis. Gängige Videoformate sind auf sequenzielles Abspielen und maximale Kompression ausgelegt, und komplexe Referenzstrukturen sorgen dafür. KI-Training greift dagegen zufällig auf Zeitpunkte zu. Den dadurch aufgeblähten Dekodieraufwand, die sogenannte Decode Amplification, führen sie auf zwei Quellen zurück. Zum einen werden nicht benötigte Frames sequenziell rekonstruiert. Zum anderen werden die Referenzketten der gesampelten Ziel-Frames rekonstruiert.

Die bekannten Auswege sind unabhängig gespeicherte JPEG-Frames und kurze GOPs. Sie senken laut Paper den Dekodieraufwand, erhöhen aber Speicher- und Transfervolumen. Dabei handelt es sich um die Problembeschreibung der Autoren. Eine eigene Messung liegt im vorliegenden Material nicht vor.

Dass der Datenzugriff als Engpass gilt, sieht auch NVIDIA so. Das zufällige Zugriffsmuster des Trainings mache SSDs nötig, und Video als Datenquelle erhöhe den lokalen Speicherbedarf. Die Bibliothek DALI dekodiert nach Herstellerangaben auf der GPU. Unterstützt werden unter anderem HEVC sowie Formate der H.26-Familie. Außerdem bietet sie einen Video-Reader mit Parametern wie sequence_length, stride, step und random_shuffle. Ein Benchmark von knonik.com vergleicht für Roboter-Datensätze, wie viele dekodierte Frames pro Sekunde verschiedene Formate und Loader auf die GPU liefern.

Behauptete Entlastung ohne Zahlen

Die Autoren behaupten, Sparse-Decoding und DDRA senkten den Dekodier-Overhead beim zufälligen Sampling deutlich. Außerdem begrenzten sie die Rekonstruktion pro Ziel-Frame. Der vorliegende Auszug enthält jedoch weder Zahlen noch Baselines oder Angaben zur Hardware. Ob der Ansatz gegenüber JPEG-Frames und kurzen GOPs tatsächlich weniger Speicher- und Transfervolumen kostet, lässt sich damit nicht prüfen.

Prüfen ließe sich das über den Volltext mit Tabellen zu Durchsatz, Dekodierzeit und Speicherbedarf. Hilfreich wären außerdem Code oder Datensatz und eine unabhängige Reproduktion.

Als nicht belegte Ableitung kämen Teams mit großen Videokorpora und Zufalls-Sampling infrage, etwa bei Video-Modellen oder in der Robotik.