PixelDiT2: Eingefrorenes Vision-Modell soll Pixelraum-Diffusion beschleunigen

PixelDiT2 lässt ein eingefrorenes Vision-Modell das Denoising im Pixelraum anleiten

Forschende der University of Rochester und von NVIDIA stellen mit PixelDiT2 („Representation-Grounded Pixel Diffusion Transformers“) einen Nachfolger des Bildmodells PixelDiT vor. Das Modell arbeitet als End-to-End-Diffusionsmodell direkt im Pixelraum. Ein Autoencoder kommt nicht zum Einsatz, und der Engpass einer Latent-Rekonstruktion entfällt.

Der Kern des Ansatzes heißt Representation Grounding. Ein eingefrorenes, vortrainiertes Vision-Foundation-Model liefert während des gesamten Denoisings explizite Repräsentationsvorgaben pro Patch. Der Diffusion Transformer muss dadurch nicht mehr zugleich klären, welche Repräsentation sich zum Entrauschen eignet, und die Pixel erzeugen. Er kann sich stärker auf die Pixelgenerierung konzentrieren.

Das Paper begründet den Ansatz mit einem Befund. Pixelraum-Diffusion konvergiert bislang langsamer und liegt bei der finalen Bildqualität hinter Latent-Diffusion. Die Autoren führen das auf einen fehlenden expliziten Repräsentations-Prior zurück. Latent-Diffusion entrauscht in einem kompakten, strukturierten Raum. Pixelmodelle müssen dagegen beides aus rohem RGB lernen.

Als Autoren nennt die Projektseite Yongsheng Yu, Wei Xiong, Yichen Sheng, Shiqiu Liu und Jiebo Luo. Wei Xiong ist Projektleiter und Hauptbetreuer. Laut Projektseite wurde die Arbeit für die NeurIPS 2026 angenommen.

FID 1,46 und 1,48 auf ImageNet gegen 1,61 und 1,81 beim ersten PixelDiT

Laut Abstract erreicht PixelDiT2 auf ImageNet einen FID von 1,46 bei einer Auflösung und 1,48 bei einer weiteren. Das erste PixelDiT kam auf 1,61 bei ImageNet 256 und auf 1,81 bei ImageNet 512. Welcher neue Wert zu welcher Auflösung gehört, lässt der vorliegende Auszug offen. Gleiches gilt für die Epochenzahlen, nach denen die Werte erreicht wurden. Ein direkter Vergleich pro Auflösung ist damit nicht belegt. Rechnerisch liegen beide neuen Werte unter denen des Vorgängers.

Zwei Aussagen stammen von den Entwicklern selbst und sind unabhängig nicht bestätigt. Erstens geben die Entwickler an, PixelDiT2 konvergiere „deutlich schneller“ und liefere bessere ImageNet-Ergebnisse als der Vorgänger. Prüfbar wäre das über Konvergenzkurven und Epochenzahlen im Paper sowie über ein Nachtraining mit veröffentlichten Skripten. Zweitens soll das Modell laut Pressemeldung eine Leistung erreichen, die der von Latent-Diffusion auf dem neuesten Stand „nearly comparable“ ist. Dafür wären Vergleichstabellen unter gleichen Bedingungen im Paper und unabhängige Reproduktionen nötig.

Termin, Code und Lizenz von PixelDiT2 sind offen, Kontrollbarkeit ist nicht belegt

Die Projektseite führt die NeurIPS-Annahme unter dem Eintrag 2026/09. Die Pressemeldung nennt eine Präsentation im Dezember. Beides betrifft unterschiedliche Aspekte. Ein genauer Termin ist nicht belegt.

Zu Code, Text-to-Image, Kosten und Lizenz von PixelDiT2 liefert das Material keine neuen Angaben. Für das erste PixelDiT sind Code, Trainings- und Inferenzskripte sowie Modelle veröffentlicht. Das Text-to-Image-Modell steht unter der Lizenz „nsclv1“. Der Autor nennt die Freigabe „für Forschungszwecke“. Ob PixelDiT2 diese Lizenz übernimmt, ist nicht bestätigt.

Die Pressemeldung beschreibt Editing-Beispiele wie eine Brille oder die Autofarbe. Diese stammen aus dem ersten PixelDiT. Das Abstract zu PixelDiT2 behandelt nur Bildqualität und Konvergenz. Die Kontrollbarkeit von PixelDiT2 ist deshalb im Material nicht durch Paper-Daten gestützt.