MPEG-Diffusion: Video-Transformer rechnen nur die wichtige Bildregion in hoher Auflösung
Forschende von UT Austin und Roblox melden ein 4,8-fach schnelleres Denoising auf Wan2.1 14B, bei rund 30 Prozent der Tokens. Die Angaben stammen bislang fast nur aus dem Abstract.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- MPEG-Diffusion berechnet die wichtige Region hochaufgelöst, den Rest niedrig aufgelöst.
- Drei Bausteine: Dual-Resolution-Attention, Mixed-Resolution-Decoder und eine selbst gewählte HR-Region.
- Bei nur etwa 30 % der Tokens beschleunigt es das Denoising um 4,8-fach auf Wan2.1 14B, 3,8-fach auf 1.3B.
- Die Beschleunigung gilt nur fürs Denoising, nicht für die Gesamtpipeline.
- Das Paper stammt von UT Austin und Roblox und liegt als arXiv-Preprint 2611.12069 vor.
MPEG-Diffusion rechnet nur die wichtige Bildregion in hoher Auflösung
Forschende von UT Austin und Roblox haben MPEG-Diffusion vorgestellt. Die Methode soll Video-Diffusion-Transformer (DiTs) beschleunigen. Sie erzeugt eine visuell wichtige Region in hoher Auflösung, den Rest in niedriger. Laut Paper (arXiv 2611.12069, November 2026) verarbeitet sie nur etwa 30 Prozent der Tokens der vollen Auflösung. Das Denoising läuft so auf Wan2.1 14B 4,8-mal schneller und auf Wan2.1 1.3B 3,8-mal schneller.
Die Zahlen beziehen sich ausdrücklich auf das Denoising, nicht auf die gesamte Generierungspipeline. Weitere Schritte, etwa das Dekodieren der Latents, sind darin nicht enthalten.
Als Autoren nennt das Paper Dennis Menn, Tianpei Gu, Guande He, Aryan V S, Yanke Song, Nan Liu, Desai Xie, Xun Huang, Chenfeng Xu und Diana Marculescu. Die Arbeit liegt als arXiv-Preprint vor. Ein Peer-Review ist nicht belegt. Auf Hugging Face ist sie als Paper-Seite gelistet.
Dual-Resolution-Attention, Mixed-Resolution-Decoder und selbst gewählte Region
Das Verfahren besteht laut Paper aus drei Bausteinen. Bei der Dual-Resolution-Attention liest jede Query die Keys und Values ihrer eigenen Auflösung. Ein Mixed-Resolution-Decoder verschmilzt die hoch- und niedrig aufgelösten Latents vor dem Dekodieren, um Verzerrungen zu beheben. Schließlich wählt das DiT die hochaufgelöste Region anhand seines eigenen Wissens selbst. Sie muss nicht vorab feststehen.
Die Autoren werfen früheren Mixed-Resolution-Methoden vor, bei Video stark an Qualität zu verlieren und eine Region vorab zu benötigen. Das ist ihre Aussage. Unabhängig nachgeprüft ist sie nicht. Laut Paper übertrifft MPEG-Diffusion diese Ansätze bei nahezu jeder Metrik. In der Nutzerstudie bevorzugen Bewertende das Verfahren gegenüber früheren Mixed-Resolution-Methoden und stufen es nahe an der Volllauflösung ein. Die genaue Prozentzahl ist im verfügbaren Text abgeschnitten und wird deshalb hier nicht genannt.
Eine Zusammenfassung auf agihunt spricht in der Kurzfassung von „user-selected“ Regionen. Das widerspricht dem Paper, das eine automatische Auswahl durch das Modell beschreibt. Im Hauptteil derselben Zusammenfassung steht „self-selected“. Offenbar handelt es sich um eine ungenaue Verkürzung.
Was bislang nur im Abstract steht: „ohne Qualitätsverlust“ und „up to 3x“
Die Angaben stammen fast ausschließlich aus dem Abstract. Unabhängige Reproduktionen oder Tests fehlen. Die Kurzfassung auf Hugging Face verspricht ein schnelleres Denoising „ohne Qualitätsverlust“. Der Abstract selbst formuliert vorsichtiger: Bewertende sehen die Ergebnisse „nahe an der Volllauflösung“, und die Methode sei bei „nahezu jeder“ Metrik besser als Vorgänger, nicht bei allen. Ob ein Restverlust bleibt, zeigen erst die Tabellen im Paper.
Auch bei der Geschwindigkeit gibt es eine Abweichung. AI FILMS Studio nennt „up to 3x“ für Wan-basierte Generierung. Das Paper nennt 4,8-fach beziehungsweise 3,8-fach beim Denoising. Die Ursache ist nicht geklärt. Denkbar sind eine andere Bezugsgröße oder eine ungenaue Zusammenfassung.
Ein Community-Port auf das Video-DiT MiniMax H3 stammt ausdrücklich nicht von den Autoren. Der Entwickler bezeichnet ihn als Forschungscode, der noch Training braucht. Seine ersten Messungen auf einer RTX 5090 nennt er selbst keinen Benchmark. Zu bedenken ist außerdem, dass Roblox als beteiligte Institution ein Eigeninteresse an günstiger Videogenerierung hat. Für Nutzer besteht vorerst kein praktischer Handlungsbedarf, solange Code oder Modelle der Autoren nicht bestätigt sind.



