Live Together AI legt jedem GPU-Cluster einen Lese-Cache bei
↘

DWD ersetzt den VAE-Decoder durch einen linearen Pixelkopf: 23 % weniger Warping-Fehler, FID 1,43

Ein feinabgestimmter Diffusion Transformer erzeugt die Pixel im letzten Schritt direkt. Die Autoren berichten gleiche oder bessere Qualität auf FLUX.2 und Wan2.1, die Zahlen sind Herstellerangaben.

· Veröffentlicht: 22.11.2026 ·5 Min Lesezeit
DWD ersetzt den VAE-Decoder durch einen linearen Pixelkopf: 23 % weniger Warping-Fehler, FID 1,43Mit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • DWD lässt einen feinabgestimmten Diffusion Transformer die finalen Pixel über einen linearen Kopf erzeugen.
  • Die Erweiterung vortrainierter Latent-Modelle erfolgt durch Feinabstimmung nur der letzten Transformer-Blöcke.
  • Auf Wan-Videogenerierung senkt DWD laut Paper den Warping-Fehler um 23 Prozent.
  • Für Pixel-Diffusionsmodelle ohne Decoder verbessert ein DWD-Kopf die ImageNet-FID von 1,55 auf 1,43.
  • Autoren der DWD-Arbeit sind Hansheng Chen, Shengqu Cai, Jan Ackermann, Rayhan Zirvi, Gordon Wetzstein, Xinchen Yan und Leonidas Guibas.

DWD streicht den VAE-Decoder: Ein linearer Kopf sagt die Pixel im letzten Schritt voraus

Das Paper „Decoding Without a Decoder“ (DWD) will bei Latent-Diffusion-Modellen den VAE-Decoder abschaffen. Ein feinabgestimmter Diffusion Transformer erzeugt die finalen Pixel im letzten Schritt direkt über einen linearen Kopf. Die Autoren berichten, dass die Pixelqualität auf FLUX.2 und Wan2.1 gleich bleibt oder besser wird. Laut Projektseite passt ein linearer Kopf auf einem feinabgestimmten DiT dort mindestens so gut wie der Decoder.

Als Autoren nennt die Arbeit Hansheng Chen, Shengqu Cai, Jan Ackermann, Rayhan Zirvi, Gordon Wetzstein, Xinchen Yan und Leonidas Guibas. Verwandte Arbeiten derselben Gruppe führen die Stanford University als Institution, teils zusammen mit Luma AI und Adobe Research. Die Angaben stammen aus dem Abstract und von der Projektseite der Autoren selbst.

Randnotiz: Auf r/StableDiffusion berichtet am 22. November 2026 ein inzwischen gelöschter Account über experimentelle Krea2-Trainingsergebnisse mit DWD, in einem Kommentar darunter bemerkt eine andere Person ein kleines Box- bzw. Gittermuster, häufiger als beim Standard-Qwen-Image-VAE. Ob das Muster vom DWD-Kopf oder vom Trainingsaufbau stammt, bleibt unklar; eine unabhängige Nachprüfung der Paper-Zahlen ist bislang nicht bekannt.

Der Denoising-Kopf bleibt Anker, trainiert werden nur die letzten Blöcke

Technisch neu ist die Trennung zweier Rollen. Bisher führt die Ausgabe des Denoising-Schritts zu den finalen Pixeln. DWD teilt diese Aufgabe auf: Der ursprüngliche Denoising-Kopf treibt weiter das Sampling voran. Erst im letzten Schritt sagt der neue DWD-Kopf die Pixel voraus.

Damit sich der Ablauf eines vortrainierten Modells nicht verschiebt, bleibt der Denoising-Kopf am vortrainierten Modell verankert. Das soll die Sample-Trajektorie erhalten. Feinabgestimmt werden nach Angaben der Autoren nur die letzten Transformer-Blöcke. Der DWD-Kopf lernt mit Verlusten für die Pixelqualität. Die Anpassung ist somit kein Neutraining. Sie bleibt aber ein Eingriff. Betreiber bestehender VAE-Pipelines müssten diese Blöcke selbst feinabstimmen, bevor sie den Decoder weglassen können.

Das Prinzip wenden die Autoren außerdem auf Pixel-Diffusionsmodelle an, die gar keinen Decoder nutzen. Ein DWD-Kopf im letzten Schritt verbessert dort die ImageNet-FID von 1,55 auf 1,43. Der Gedanke, die Ausgabe in eine eigene Pixelvorhersage auszulagern, soll also über den Decoder-Ersatz hinaus tragen.

23 % weniger Warping-Fehler und FID 1,43: Was die Zahlen belegen und was offen bleibt

Das Paper berichtet bei der Wan-Videogenerierung 23 Prozent weniger Warping-Fehler. Zusätzlich beschreiben die Autoren sichtbar weniger Detailverzerrungen und weniger Flackern. Das sind eigene Beobachtungen, die nicht als Teil der 23 Prozent ausgewiesen sind. Auf ImageNet erreicht die Pixel-Diffusion FID 1,43.

Die Einordnung dazu stammt von den Autoren: 1,43 sei „a new state of the art among pixel flow models“. Das ist eine Herstellerangabe. Andere Pixel-Arbeiten liegen unter abweichenden Setups vor. Eine Arbeit mit selbstüberwachtem Vortraining kommt auf FID 2,04 bei 75 NFE. AsymFlow aus derselben Gruppe erreicht 1,57, PixelGen 5,11 ohne CFG. Ein Vergleich unter identischem Setup fehlt. Die Rangaussage ist daher nicht geprüft. Auch „substantially better texture detail“ bei Text-zu-Bild ist eine Herstellerangabe. Zahlen dazu gibt es nicht.

Bei den Kosten widersprechen sich die Fassungen. Die Hugging-Face-Fassung spricht von „reducing inference cost“. Der arXiv-Abstract und die Projektseite erwähnen dagegen keine Kostenreduktion und nennen keine Zahlen. Für DWD selbst liegen keine Latenz-, FLOPs- oder Speicherwerte vor. Die Ersparnis ist unbelegt.

Schließlich relativiert die Benchmark-Studie DiffusionBench/NanoGen den ImageNet-Wert. Über 21 Latent-Diffusion-Modelle hinweg zeigt sich keine positive Korrelation zwischen ImageNet- und T2I-Ranking. Die Pearson-Werte liegen zwischen -0,377 und -0,580. Eine bessere ImageNet-FID sagt deshalb nicht zwingend etwas über die T2I-Qualität aus.

Bei MiniMax H3 reicht der lineare Kopf nicht: pi-H3 braucht einen Refiner

Die Allgemeingültigkeit des linearen Kopfs ist umstritten. Position A: Auf FLUX.2 und Wan2.1 genügt er. Position B stammt von den pi-H3-Autoren. Bei MiniMax H3 deckt ein Token 12288 Pixelwerte ab, mehr als das Doppelte der Hidden-Size von 5376. Ein rein linearer Kopf liefert dort unscharfe Frames.

Die Autoren führen das auf dieses Verhältnis zurück. Der Kopf müsse pro Token mehr Pixelwerte ausgeben, als die Feature-Dimension hergibt. Welche Patchgrößen FLUX.2 und Wan2.1 verwenden, ist nicht bekannt. Ob dort ein günstigeres Verhältnis vorliegt, bleibt Vermutung. Der lineare Kopf ist damit modellabhängig.

pi-H3 ergänzt deshalb einen Refiner auf den Denoiser-Features. In Version 0.9 war das der Faltungs-Refiner aus dem DWD-Paper. Er schärft, braucht aber viel VRAM und erzeugt Aliasing. Version 1.0 setzt auf einen Transformer-Refiner mit Fenster-Attention. Er nutzt 8 von 24 Blöcken des Sol-H3-VAE-Decoders.

Die Autoren nennen 2 oder 4 Sampling-Schritte. 5 Sekunden HD-Video entstehen laut ihren Angaben in 3,8 Sekunden, 15 Sekunden Video in 18,6 Sekunden, jeweils auf einer B200. Das sei mehr als doppelt so schnell wie Sol-H3. Dies sind Selbstmessungen der Hersteller. Gewichte, Inferenzcode und ComfyUI-Unterstützung sind seit dem 21. November 2026 verfügbar. Der Trainingscode steht noch aus. Daten zum Nutzen auf Edge- oder Mobilgeräten liegen nicht vor.

PixVid und RefDecoder: Zwei andere Antworten auf denselben Decoder-Schritt

DWD steht nicht allein. PixVid („Back to Pixels“) geht von Wan2.1-14B aus. Der Diffusion Transformer bleibt, ein Faltungskopf ersetzt den VAE-Decoder, und jedes Frame entsteht einzeln im Pixelraum. Nach Angaben der Autoren, zu denen Yanke Song, Shuo Chen und Xun Huang gehören (Roblox, UC Merced, UPenn, UT Austin), hängt die Qualität an der Vorhersage des sauberen Videos statt an der Geschwindigkeit, außerdem an einem größeren Noise-Shift. Das Ziel reicht über den Decoder hinaus: höhere Auflösung bei gleicher Token-Zahl pro Frame und Reaktion auf Eingaben schon im nächsten Frame.

RefDecoder geht den entgegengesetzten Weg. Der Video-VAE-Decoder bleibt erhalten, wird aber mit einem Referenzbild konditioniert. Das soll Detailtreue und Konsistenz verbessern. Laut den Autoren lässt er sich ohne Feinabstimmung in bestehende Systeme wie Wan 2.1 einsetzen. Für Betreiber, die nicht nachtrainieren wollen, ist das ein anderes Angebot als DWD.

RefDecoder wird durch DWD also nicht überflüssig. Beide Ansätze konkurrieren um denselben Schritt. Welcher besser ist, lässt sich nicht sagen. Ein Vergleich der Verfahren unter gleichen Bedingungen ist nicht bekannt.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel