KI SpotlightNewsGAS: Generation als Hilfssignal für besseres multimodales Verständnis
Ein neues Verfahren namens GAS (Generation as Auxiliary Supervision) verbessert das multimodale Verständnis von Large Language Models, indem es Generation als zusätzliche Supervision über next embedding prediction und eine decoupled mixture-of-transformers Architektur nutzt – ohne zusätzlichen Infer
Mit KI erstellt◆ Fakten auf einen Blick
- GAS verbessert das multimodale Verständnis, indem es Generation als auxiliary supervision nutzt.
- Die Methode verwendet next embedding prediction und eine decoupled mixture-of-transformers Architektur.
- Das Verfahren verursacht keinen zusätzlichen Inferenzaufwand (zero inference overhead).
- Multimodale Large Language Models (MLLMs) haben bemerkenswerte Fortschritte erzielt, aber visuelles Verständnis und Generation werden typischerweise als divergente Ziele behandelt.
- Bestehende unified frameworks verlassen sich oft auf diskrete visuelle Tokenisierung oder Diffusionsziele.
GAS: Generation als Hilfssignal für besseres multimodales Verständnis
Ein neues Verfahren namens GAS (Generation as Auxiliary Supervision) verbessert das multimodale Verständnis von Large Language Models, indem es die Generierung als zusätzliches Überwachungssignal einsetzt. Statt das Modell nur auf das Verstehen von Bildern und Texten zu trainieren, wird es gleichzeitig dazu angehalten, das nächste Embedding vorherzusagen – eine Technik, die als next embedding prediction bezeichnet wird. Konkret bedeutet das: Das Modell lernt, die kontinuierliche Vektorrepräsentation des nächsten Elements (z. B. eines Tokens oder Bildausschnitts) zu prognostizieren, statt nur das nächste diskrete Token zu erzeugen. Dadurch wird es gezwungen, reichhaltigere und besser generalisierende multimodale Repräsentationen aufzubauen, die sowohl für das Verständnis als auch für die Generierung nützlich sind. Die decoupled mixture-of-transformers Architektur unterstützt dies, indem sie die Generierung als Hilfssignal nutzt, ohne dass bei der Inferenz zusätzliche Komponenten aktiv sind. Deshalb entsteht kein zusätzlicher Inferenzaufwand: Die rechenintensiven Generierungsschritte sind reine Trainingshilfen und werden zur Laufzeit nicht ausgeführt. Die Autoren beschreiben den Ansatz als Möglichkeit, visuelles Verständnis ohne Zusatzkosten bei der Inferenz zu steigern.
Problem: Divergente Ziele in bestehenden multimodalen Modellen
Multimodale Large Language Models (MLLMs) haben bemerkenswerte Fortschritte erzielt, doch visuelles Verständnis und Generierung werden typischerweise als getrennte Ziele behandelt. Diese Trennung ist darauf zurückzuführen, dass beide Aufgaben unterschiedliche Anforderungen an die internen Repräsentationen stellen: Verständnis erfordert kompakte, semantisch fokussierte Merkmale, die irrelevante Details verwerfen, während Generierung detaillierte, rekonstruierbare Informationen benötigt, aus denen sich realistische Ausgaben erzeugen lassen. In der Praxis führt das dazu, dass viele Modelle separate Verlustfunktionen für Verständnis und Generierung verwenden, was zu Zielkonflikten führen kann. Bestehende vereinheitlichte Frameworks, die beide Fähigkeiten kombinieren wollen, setzen oft auf diskrete visuelle Tokenisierung oder auf Diffusionsziele. Diskrete Tokenisierung wandelt Bilder in eine endliche Menge von Tokens um, wodurch kontinuierliche Information quantisiert wird und feine Abstufungen oder seltene Details verloren gehen – das kann das Verständnis verschlechtern. Diffusionsziele erfordern iterative Rauschunterdrückungsprozesse, die sowohl im Training als auch in der Inferenz sehr rechenintensiv sind und die Latenz erhöhen. GAS adressiert diese Lücke, indem es die Generierung als Hilfssignal für das Verständnis nutzt, ohne auf solche Verfahren angewiesen zu sein. Dadurch soll das visuelle Verständnis verbessert werden, ohne die Nachteile bisheriger unified frameworks zu übernehmen.
