Flash-BoN: Günstige Drafts beschleunigen Text-zu-Bild-Diffusion

Draft-Kandidaten durch Timestep-Truncation, Layer-Skipping und Activation-Proxies

Flash-BoN reduziert die Rechenkosten für die Bildgenerierung, indem es zunächst eine große Zahl günstiger Entwürfe (Drafts) erzeugt. Dafür setzt die Methode auf drei Techniken: Timestep-Truncation verkürzt den mehrstufigen Denoising-Prozess, der bei Diffusionsmodellen schrittweise aus zufälligem Rauschen ein Bild formt. Statt alle Zeitschritte zu durchlaufen, werden die Drafts nur über einen Teil der Schritte entwickelt, was Rechenzeit spart. Layer-Skipping lässt bei der Berechnung der Entwürfe gezielt einige Schichten des neuronalen Netzes aus, sodass weniger Parameter pro Durchlauf aktiviert werden müssen. Activation-Proxies ersetzen rechenintensive Aktivierungsfunktionen durch einfachere Näherungen, die schneller zu berechnen sind, aber dennoch brauchbare Zwischenergebnisse liefern. Aus diesen kostengünstig erzeugten Kandidaten wählt Flash-BoN dann in einem mehrstufigen Verifikationsprozess die vielversprechendsten Entwürfe aus und verfeinert sie mit dem vollständigen Modell. So wird teure Rechenzeit nur für die aussichtsreichsten Kandidaten aufgewendet.

Bessere Leistung bei festem Zeitbudget als bisherige Methoden

Inference-Time-Scaling-Ansätze für Diffusionsmodelle reichen von einfachem Best-of-N-Sampling, bei dem mehrere Bilder generiert und das beste ausgewählt wird, bis zu geführten Suchverfahren, die Kandidaten während der Entrauschung prüfen und steuern. Flash-BoN übertrifft diese bestehenden Methoden nach Angaben der Entwickler, wenn die verfügbare Rechenzeit (Wall-Clock Budget) fest vorgegeben ist. Die Kombination aus günstiger Draft-Erzeugung und mehrstufiger Verifikation ermöglicht es, innerhalb desselben Zeitlimits mehr und gezielter Kandidaten zu evaluieren. Dadurch steigt die Qualität der finalen Text-zu-Bild-Ergebnisse, ohne dass längere Wartezeiten in Kauf genommen werden müssen. Die Methode zeigt, dass eine geschickte Aufteilung des Rechenbudgets in eine breite, aber flache Vorauswahl und eine tiefe Prüfung der besten Entwürfe effizienter sein kann als das gleichmäßige Investieren in wenige vollständige Generierungsdurchläufe.