E-MoE nutzt Expert-Routing für nicht-faktorisierte Diffusions-Sprachmodelle

Neuer Ansatz E-MoE für nicht-faktorisierte Diffusions-Sprachmodelle

Forschende schlagen mit E-MoE einen neuen Ansatz für nicht-faktorisierte Diffusions-Sprachmodelle vor. Maskierte Diffusionsmodelle generieren mehrere Tokens parallel, doch ihr Rückwärtsprozess ist üblicherweise über die Positionen faktorisiert. Das bedeutet, dass jedes Token unabhängig von den anderen vorhergesagt wird, was die Qualität bei wenigen Generierungsschritten einschränkt. E-MoE, kurz für Enhanced Mixture-of-Experts, modelliert den Rückwärtsprozess stattdessen als Mischung faktorisierter Verteilungen. Dafür wird eine diskrete gemeinsame latente Variable verwendet, die aus den Expert-Routing-Entscheidungen eines Mixture-of-Experts-Backbones stammt. Diese Routing-Entscheidungen bestimmen, welcher Experte für ein Token zuständig ist, und dienen als gemeinsame Information über alle Positionen hinweg. So entsteht eine koordinierte, nicht-faktorisierte Generierung, ohne dass zusätzliche aktive Parameter nötig sind.

Weniger Schritte, gleiche aktive Parameter

Der Vorteil von E-MoE liegt darin, dass die aktiven Parameter gegenüber der faktorisierten Baseline nicht erhöht werden. Bei einem Mixture-of-Experts-Modell sind zwar viele Experten vorhanden, aber pro Schritt wird nur ein Teil davon aktiviert. E-MoE nutzt diese Routing-Entscheidungen als latente Variable, ohne zusätzliche Berechnungen oder Parameter einzuführen. Das zugrunde liegende Problem der faktorisierten Rückwärtsprozesse ist die fehlende Koordination zwischen den parallel generierten Tokens: Jede Position wird unabhängig vorhergesagt, wodurch Korrelationen verloren gehen und die Qualität bei wenigen Schritten leidet. Laut dem Abstract des Papers verbessert E-MoE die Few-Step-Generierung gegenüber faktorisierten Baselines. Damit adressiert der Ansatz genau das Regime, in dem Diffusionsmodelle ihren Geschwindigkeitsvorteil gegenüber autoregressiven Verfahren ausspielen sollen.

Tests auf synthetischen Benchmarks, MNIST und LM1B

Die Autoren evaluieren E-MoE auf synthetischen multi-modalen Benchmarks, auf binarisiertem MNIST und auf dem Sprachdatensatz LM1B. In allen diesen Tests zeigt sich eine verbesserte Few-Step-Generierung im Vergleich zu faktorisierten Baselines. Die Ergebnisse belegen, dass die nicht-faktorisierte Modellierung über die gemeinsame latente Variable aus den Expert-Routing-Entscheidungen die Qualität bei wenigen Denoising-Schritten steigert. Besonders bei sehr kleinen Schrittanzahlen, wo die parallele Token-Generierung ohne Koordination an ihre Grenzen stößt, profitiert das Modell von der gemeinsamen Information. Die Arbeit liefert damit einen konkreten Architekturvorschlag, wie sich Mixture-of-Experts-Backbones für Diffusions-Sprachmodelle nutzen lassen, ohne die Rechenlast zu erhöhen.