Gelerntes Korrekturmodul soll Exposure Bias in Diffusionsmodellen verringern

Gelerntes Korrekturmodul verfeinert die Vorhersage in jedem Sampling-Schritt

Das Paper „Correction Training for Diffusion Models“ führt ein trainiertes Korrekturmodul ein. Es verfeinert die Clean-Sample-Vorhersage des Basis-Denoisers iterativ, und zwar bei jedem Denoising-Schritt. Ziel ist der Exposure Bias. Im Training sieht der Denoiser reale Bilder, die mit Rauschen interpoliert wurden. Bei der Inferenz füttert er dagegen seine eigenen, unvollkommenen Vorhersagen früherer Schritte zurück, Eingaben also, die er nie gesehen hat. Fehler können sich so über die Schritte hinweg aufschaukeln.

Das Korrekturmodul nimmt die Vorhersage des Basismodells als Eingabe und wird gegen dasselbe Ground-Truth-Ziel trainiert. Die Trainingseingaben stammen vom Basismodell. Korrektur wird so zu einer explizit gelernten Aufgabe. Nach Darstellung der Autoren sollen frühe Artefakte dadurch nicht bis ins fertige Bild durchschlagen. Trainiert wird das Modul nur auf Vorhersagen des Basis-Denoisers. Beim Sampling lässt es sich jedoch wiederholt auf die eigenen Ausgaben anwenden. Die Diversität bleibe dabei weitgehend erhalten, so die Autoren.

Das Zusatzmodul kostet bei der Inferenz Rechenaufwand. Laut Abstract soll eine Distillation diesen Overhead beseitigen. Wie die Distillation umgesetzt wird, beschreibt das vorliegende Material nicht.

Frühere Ansätze stören Trainingsdaten, skalieren den Output oder lernen Prompts

Das Material beschreibt mehrere ältere Ansätze gegen den Exposure Bias. Sie gehen anders vor. Input Perturbation (ICML) stört im Training die Ground-Truth-Samples, um die Vorhersagefehler der Inferenz zu simulieren. Dafür ist ein Neutraining nötig. Die Autoren nennen einen FID von 1,27 auf CelebA 64x64 bei 37,5 Prozent weniger Trainingszeit.

Epsilon Scaling (ICLR) kommt ohne Training aus. Es skaliert den Netzwerk-Output herunter und rückt die Sampling-Trajektorie so näher an das im Training gelernte Vektorfeld. ADM-ES erreicht auf CIFAR-10 bei 100 Schritten unbedingter Generierung einen FID von 2,17. Der Time-Shift-Sampler wählt ebenfalls ohne Neutraining pro Zustand einen besser passenden Zeitschritt. Für F-PNDM auf CIFAR-10 wird ein FID von 3,88 berichtet. Ein Prompt-Learning-Ansatz trainiert ein leichtgewichtiges Modell. Es sagt pro Schritt einen Anti-Bias-Prompt voraus, bei rund 5 Prozent Mehraufwand im Sampling.

Das neue Verfahren formuliert Korrektur als explizit gelernte Aufgabe. Die genannten Zahlen stammen aus verschiedenen Papers und Setups. Sie lassen sich deshalb nicht mit dem neuen Verfahren vergleichen.

Evaluation auf DiT, SiT und JiT, aber im Material fehlen Zahlen und Code

Laut Abstract wurde das Verfahren auf den Architekturen DiT, SiT und JiT evaluiert. Es soll die bisher berichteten FID-Werte für ungeführte, vor allem unbedingte Generierung deutlich verbessern. Die Rede von einer „substantiellen“ Verbesserung stammt von den Autoren. Unabhängig bestätigt ist sie nicht.

Prüfen lässt sich das bislang nicht. Der Abstract liegt nur gekürzt vor. Konkrete Zahlen fehlen, ebenso ein Vergleich mit den oben genannten Verfahren. Für das Paper belegt das Material weder Code noch Gewichte. Für Epsilon Scaling und Input Perturbation gibt es dagegen öffentliche Repositories.

Nötig wären die FID-, Precision- und Recall-Tabellen des Volltexts sowie eine unabhängige Reproduktion. Hinzu kommt: Das Verfahren braucht zusätzliches Training des Korrekturmoduls und für den Wegfall des Overheads eine Distillation. Welche praktischen Folgen das für Produktivmodelle hätte, lässt sich aus dem Material nicht ableiten.