DiffusionART: Neuer RL-Fine-Tuning-Ansatz ohne EMA-Tuning für Diffusionsmodelle

DiffusionART: Neuer RL-Fine-Tuning-Ansatz ohne EMA-Tuning

DiffusionART ist ein neuer Ansatz für das Online-Reinforcement-Learning-Fine-Tuning von Diffusionsmodellen mit Black-Box-Rewards. Er kombiniert Forward- und Reverse-Process-Methoden, indem er die Belohnungen jedes Prompts in eine gemeinsame reward-verbessernde Richtung für Reverse-Process-Zustände aggregiert. Technisch wird diese Aggregation realisiert, indem nicht versucht wird, jedem einzelnen Denoising-Schritt eine eigene Belohnung zuzuweisen – was bei Reverse-Process-Methoden zu hoher Varianz führt –, sondern aus allen Belohnungen eines Prompts ein einziger Update-Vektor berechnet wird, der alle Reverse-Process-Zustände gemeinsam in Richtung höherer Belohnung verschiebt. Dadurch entfällt die fehleranfällige Kreditzuweisung pro Zeitschritt.

Ein trust-region-maskierter zweiter Update-Schritt führt eine drift-adaptive Restoration ein. Eine Trust Region begrenzt die Größe der Parameteränderung, um destabilisierende Sprünge zu verhindern; die Maske wählt gezielt diejenigen Parameter oder Zustände aus, die während des Trainings von einer stabilen Konfiguration abgedriftet sind. Dieser zweite Update korrigiert die Drift adaptiv – ähnlich wie ein exponentiell gleitender Durchschnitt (EMA) die Gewichte über die Zeit mittelt, um Varianz zu reduzieren –, jedoch ohne dass EMA-Hyperparameter abgestimmt werden müssen. Da die Restoration direkt in den Update-Schritt integriert ist, wird EMA-Tuning überflüssig. Laut dem Paper benötigt DiffusionART kein differenzierbares Belohnungsmodell, bleibt mit weniger Samples pro Prompt effektiv und unterstützt paarweise Belohnungsmodelle (DiffusionART-Pairwise). Über Bild- und Videogenerierung trainiert das Verfahren nach Angaben der Autoren effizient und stabil ohne aufgabenspezifisches Tuning.

Warum bestehende Methoden scheitern: Ineffizienz und Instabilität

Reverse-Process-Methoden wie Flow-GRPO sind ineffizient, weil die Belohnung erst am Ende des Generierungsprozesses bekannt ist und die Zuordnung dieser Belohnung zu den einzelnen Denoising-Schritten mehrdeutig bleibt. Diese schlechte Kreditzuweisung führt zu hoher Varianz im Lernsignal und damit zu langsamem oder ineffizientem Training. Forward-Process-Methoden wie DiffusionNFT sind zwar effizienter, aber instabil ohne sorgfältig abgestimmtes EMA-Off-Policy-Training. Die Instabilität entsteht, weil Forward-Process-Objectives auf Off-Policy-Rollouts angewiesen sind, die eine Verteilungsverschiebung verursachen können. Ein EMA stabilisiert das Training, indem es die Modellgewichte über viele Iterationen mittelt und so die Varianz reduziert und das Modell vor zu großen Drifts bewahrt – die Autoren zeigen, dass EMA durch Restoration und nicht durch Off-Policy-Rollouts stabilisiert. NFT-style Zielfunktionen enthalten zudem eine versteckte Forward-Reverse-Konsistenzkraft, die durch gemeinsames positives-negatives Training nur teilweise aufgehoben wird. DiffusionART entfernt diese Konsistenzkraft konstruktionsbedingt, indem es die Belohnungen in eine gemeinsame Richtung aggregiert und den zweiten Update-Schritt mit einer Trust-Region maskiert.

Effizienzgewinne: 12-fach weniger GPU-Stunden auf HunyuanVideo-13B

Laut dem Paper erreicht DiffusionART auf HunyuanVideo-13B mit gleich gewichteten visuellen und Bewegungsqualitäts-Belohnungen die späten mittleren Belohnungsniveaus von DiffusionNFT und Flow-GRPO-Fast mit 12,02 bzw. 11,72 mal weniger GPU-Stunden. Der Ansatz benötigt kein differenzierbares Belohnungsmodell, kommt mit weniger Samples pro Prompt aus und unterstützt paarweise Belohnungsmodelle (DiffusionART-Pairwise). Über Bild- und Videogenerierung trainiert DiffusionART effizient und stabil ohne aufgabenspezifisches Tuning. Die Ergebnisse belegen, dass die Aggregation der Rewards in eine gemeinsame Richtung und die trust-region-maskierte Restoration zu deutlichen Effizienzgewinnen führen, ohne dass ein EMA-Tuning erforderlich ist.