Neue Dekodiermethode LOWN soll Bildverarbeitung in Diffusions-VLMs nur bei Bedarf auslösen

LOWN lässt das Bild aus, solange die Vorhersage ohne Bild dieselbe bleibt

Ein Team um Donghyeon Cho, Joowon Kim, Seungho Shin und Eunho Yang stellt LOWN (Look Only When Needed) vor, eine Dekodiermethode für diffusionsbasierte Vision-Language-Modelle. Das Preprint „Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs“ trägt die arXiv-Kennung 2610.36671. Die Autorenliste stammt von einer Sekundärseite. Das Code-Repository verweist auf dieselbe arXiv-Nummer.

Pro Dekodierschritt arbeitet das Verfahren in zwei Stufen. Zuerst sagt es die noch maskierten Tokens ohne Bild voraus. Nur wenn diese Vorhersage von der letzten bildgestützten abweicht, verarbeitet es das Bild. Stimmen beide überein, gilt die frühere Vorhersage als zertifiziert und wird wiederverwendet. Die Zahl der zertifizierten Tokens bestimmt zugleich, wie viele Tokens in diesem Schritt freigegeben werden. Ein zusätzliches Training oder ein getunter Schwellenwert ist nicht nötig.

Nach Angaben der Autoren behält die Methode über zehn Benchmarks 99,6 % des LLaDA-V-Scores und benötigt dafür durchschnittlich 35,3 % der Dekodier-FLOPs. Das ist eine Herstellerangabe. Eine unabhängige Prüfung liegt nicht vor.

Visuelle Tokens dominieren die Eingabe, ändern das Ergebnis aber selten

Ausgangspunkt ist eine Messung der Autoren: Auf den untersuchten Benchmarks machen visuelle Tokens 89 bis 97 % der Eingabe aus. Ein Diffusions-VLM verarbeitet diese Eingabe in jedem Denoising-Schritt neu. Der größte Teil der Rechenleistung gilt also wiederholt demselben Bild.

Bei LLaDA-V verglichen die Autoren in jedem Schritt die Vorhersagen mit und ohne Bild. Ohne Bild änderte sich das freizugebende Token im Mittel nur in 22,8 % der Schritte, im günstigsten Fall in 7,9 %. In den übrigen Schritten wäre die Bildverarbeitung für das Ergebnis demnach entbehrlich.

Vom Visual-Token-Pruning grenzt das Abstract die Methode ab. Pruning verwirft einen Teil der visuellen Tokens, und damit geht Information verloren. Das verbleibende Bild wird weiterhin in jedem Schritt verarbeitet. LOWN verwirft dagegen nichts. Es lässt das Bild in einzelnen Schritten ganz aus.

Der Bildbedarf schwankt laut den Autoren je Benchmark. Eine adaptive Entscheidung sei daher nötig, ein fester Plan reiche nicht aus. Auch diese Aussage stammt von den Autoren. Die zugrunde liegende Ablation haben wir nicht geprüft.

Die Einsparung ist gerechnet, nicht gemessen

Das Repository hyeon9698/LOWN enthält Setup- und Evaluierungsskripte. Es nutzt die öffentlichen Gewichte von LLaDA-V und SigLIP2 und verlangt für den Standardvergleich eine NVIDIA-GPU mit mindestens 32 GB VRAM. Aus dem vorliegenden Material geht nicht hervor, ob eigene Gewichte veröffentlicht sind.

Die ausgewiesenen FLOPs sind analytische Schätzungen aus den ausgeführten Decoder- und LM-Head-Shapes. Vision-Encoding, Projektion und elementweise Operationen fließen nicht ein. Das Repository-Beispiel stammt von einer NVIDIA H200 mit FP16, 32 Tokens und 32 Schritten. Eine Latenzmessung auf echter Hardware liegt nicht vor, eine unabhängige Replikation ebenfalls nicht. Für den Einsatz auf Edge-Geräten fehlt jeder Beleg.

Die Ausgaben sind auch nicht identisch. Im Beispiel mit dem Bild eines Braunbären beschreiben LLaDA-V und LOWN das Motiv ähnlich, aber nicht wortgleich. „Gleichbleibende Genauigkeit“ wäre daher übertrieben. Belegt ist allein der von den Autoren genannte Wert von 99,6 % des Ausgangs-Scores.