ReMo streicht laut Autoren 54 Prozent der Eingabe-Tokens von Qwen2.5-Omni
Das Verfahren kommt ohne Training aus, ersetzt Objekte durch Text und entfernt redundante Bild-Tokens. Gleiche Genauigkeit melden die Autoren. Eine unabhängige Prüfung fehlt bislang.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- ReMo ist ein trainingsfreies Verfahren, das Eingabe-Tokens von Omni-LLMs zur Inferenzzeit reduziert.
- Auf Qwen2.5-Omni entfernt ReMo laut Paper 54 % der Eingabe-Tokens.
- Laut Autoren erreicht ReMo rund 101,2 % bzw. 101,3–101,4 % der Genauigkeit des Vollmodells.
- Eine unabhängige Reproduktion der Ergebnisse liegt bislang nicht vor.
- Die Objektmasken im Repository stammen von YOLOv8n-seg, das unter AGPL-3.0 steht.
ReMo streicht laut Autoren 54 Prozent der Eingabe-Tokens von Qwen2.5-Omni
ReMo arbeitet ohne Training und senkt den Eingabeaufwand von Omni-LLMs. Solche Modelle verarbeiten Audio, Video und Text zusammen. Das Paper beschreibt, dass die drei Datenströme sehr ungleich ins Gewicht fallen. Visuelle Tokens stellen den Großteil der Eingabe und enthalten viel Redundanz. Hier setzt ReMo zur Inferenzzeit an.
Auf Qwen2.5-Omni in zwei Modellgrößen entfernt das Verfahren nach Angaben der Autoren 54 Prozent der Eingabe-Tokens. Über fünf Audio-Visual-Benchmarks gemittelt erreicht es etwa 101,2 Prozent beziehungsweise 101,3 bis 101,4 Prozent der Genauigkeit des Vollmodells. Der Unterschied beim zweiten Wert geht auf zwei abweichende Abstract-Fassungen zurück. Die Zahlen stammen von den Autoren selbst. Eine unabhängige Reproduktion gibt es bislang nicht.
Redundante visuelle Tokens fallen weg, Objekte werden zu Text
Das Prinzip: Ein visueller Token bleibt nur dann erhalten, wenn seine Information sonst nirgends vorkommt. ReMo geht dafür auf zwei Wegen vor. Zum einen richtet es Audio und Video in einem gemeinsamen Raum aus und entfernt visuelle Tokens, die bereits über das Audio oder über andere visuelle Tokens erklärt sind. Zum anderen ersetzt es objektbezogene visuelle Tokens durch kompakte Text-Proxies, also kurze Beschreibungen jedes Objekts samt Position. Derselbe Inhalt, so die Autoren, lasse sich in deutlich weniger Tokens ausdrücken. Eine Zahl dazu nennt das Abstract nicht.
Die Objekte findet ein leichter Detektor. Im offiziellen GitHub-Repository sind das die Masken von YOLOv8n-seg. Das Repository enthält Inferenz für WorldSense und Daily-Omni; Standardmodell ist Qwen2.5-Omni-3B. Ein einzelnes --remo-Flag schaltet die Paper-Konfiguration ein. Ohne Flag läuft das Originalmodell. Die Implementierung stellt außerdem einige Tokens mit lokalen Details wieder her und fasst zeitlich unveränderte Tokens zusammen.
Vergleich, Kosten und Abstract-Widerspruch bleiben offen
Mehrere Fragen sind ungeklärt. Einen Vergleich mit anderen Kompressionsverfahren gibt es nicht. OmniZip, OmniPack, ContextGuard, SEATS, DASH und R2-Omni sind zeitgleich erschienen. Ihre Selbstangaben lassen sich nicht direkt mit ReMo vergleichen. OmniPack nennt etwa 98,0 Prozent der Originalleistung bei 16,7 Prozent der FLOPs auf Qwen2.5-Omni-7B, OmniZip eine 3,42-fache Beschleunigung. Für ReMo fehlen Angaben zu FLOPs, Latenz und Speicher. Ob die eingesparten Tokens die Rechenkosten tatsächlich senken, lässt sich deshalb nicht beurteilen.
Die beiden Abstract-Fassungen widersprechen sich. Die eine nennt 54 Prozent weniger Tokens „with no loss in accuracy“ und eine Ausrichtung im „common embedding space“. Die andere spricht von „comparable accuracy“, „closed-form calibration“ und einem „lightweight object detector“. Welche Fassung gilt, ist nicht belegt. Das muss auf arxiv.org geprüft werden.
Für kommerziellen Einsatz ist eine Lizenzfrage relevant: Laut Repository steht YOLOv8n-seg unter AGPL-3.0.



