LARC: Bildgenerierung soll in kontinuierlichen Hidden States schlussfolgern

LARC soll Bildgenerierung in kontinuierlichen Hidden States ermöglichen

LARC (Latent Reasoning in Continuous Space) ist ein Framework für vereinheitlichte multimodale Modelle (UMMs). Es verlagert das Reasoning für die Text-to-Image-Generierung aus diskreten Text-Token in kontinuierliche Hidden States. Das geht aus dem Abstract des Papers auf Hugging Face Papers hervor. Alle folgenden Angaben stammen aus dieser Selbstdarstellung der Autoren.

Die Autoren sehen ein Problem: UMMs lösen viele Aufgaben zum Verstehen und Erzeugen multimodaler Inhalte gut. Für die Bildgenerierung nutzen sie sprachbasiertes Chain-of-Thought-Reasoning jedoch nur unzureichend. Bestehende, mit Reasoning erweiterte UMMs übernehmen oft weder das Test-Time-Scaling noch die feingranulare Steuerbarkeit großer Sprachmodelle.

Als Ursache nennen die Autoren einen grundlegenden Modalitäts-Mismatch. Das Reasoning läuft im diskreten Tokenraum, die Bildgenerierung im kontinuierlichen Raum. Schlussfolgern über kontinuierliche Hidden States soll diesen Token-Engpass verringern. Ob die Diagnose zutrifft, lässt sich anhand des vorliegenden Materials nicht prüfen.

Curriculum-SFT und Information-Gain-RL in zwei Stufen

Das Training besteht aus zwei Stufen. In der ersten, dem Curriculum-SFT (überwachtes Feintuning), wird das Token-Reasoning schrittweise in latentes Reasoning überführt. Das Modell wechselt nicht abrupt. Es geht in aufeinanderfolgenden Schritten von ausgeschriebenen Zwischenschritten zu latenten Repräsentationen über.

In der zweiten Stufe, dem Information-Gain-RL (Reinforcement Learning), entwickelt sich das latente Reasoning laut Abstract selbst weiter, ohne Ground-Truth-Supervision. Wie das Information-Gain-Signal konkret berechnet wird, geht aus dem verfügbaren Textausschnitt nicht hervor.

Der Gedanke, im kontinuierlichen Raum zu denken, ist nicht neu. Coconut (FAIR at Meta und UC San Diego) führt den letzten Hidden State eines Sprachmodells als „kontinuierlichen Gedanken“ direkt als nächste Eingabe zurück, statt ihn in ein Wort-Token zu dekodieren. LatentMorph hat latentes Reasoning bereits auf die Text-to-Image-Generierung übertragen, aufbauend auf Janus-Pro. Wie weit sich LARC von beiden Arbeiten absetzt, ist im Material nicht belegt.

Verbesserungen nur als Selbstauskunft der Autoren

Laut Abstract verbessert LARC über verschiedene Text-to-Image-Benchmarks hinweg die Generierungsqualität, das Prompt-Following und die Kompositionalität. Außerdem soll das Framework Test-Time-Scaling ermöglichen. Dies ist die Darstellung der Autoren.

Der vorliegende Abstract bricht mitten im Satz ab. Welche Benchmarks gemeint sind, wie groß die Effekte ausfallen und welche Basismodelle zum Einsatz kamen, bleibt offen. Dasselbe gilt für Code und Modellgewichte. Eine unabhängige Reproduktion gibt es nicht. Eine kuratierte GitHub-Sammlung zu Latent Visual Reasoning führt LARC zwar auf, nennt aber keinen öffentlichen arXiv-Einreichungstermin.

Prüfbar sind die Aussagen erst anhand der Benchmark-Tabellen und Skalierungsplots im Volltext. Für Anwender besteht derzeit kein Handlungsbedarf.