LongE2V: Event-Kameras und Video-Diffusionsmodelle für stabile Langzeitvideos

Event-Kameras treffen auf Video-Diffusionsmodelle

Event-Kameras erfassen Helligkeitsänderungen asynchron und pixelweise, was zu spärlichen Datenströmen führt. Die Wiederherstellung hochqualitativer Videos aus diesen Strömen ist eine Herausforderung: Regressionsverfahren verwischen oft Texturen, und bestehende generative Modelle haben Probleme mit der langfristigen zeitlichen Stabilität. LongE2V setzt hier an, indem es vortrainierte Video-Diffusionsmodelle als starke A-priori-Information nutzt. Diese Modelle haben gelernt, realistische Videosequenzen zu erzeugen, und dienen als Grundlage für die Videorekonstruktion. Das Verfahren verwendet die Diffusionspriors, um aus Event-Daten fehlende Frames zu rekonstruieren, zukünftige Bilder vorherzusagen und zwischen vorhandenen Frames zu interpolieren. So können selbst bei geringer Event-Dichte flüssige Videos entstehen, weil das Modell fehlende Bildinformationen aus seinem Verständnis typischer Videodynamik ergänzt. LongE2V vereint Rekonstruktion, Vorhersage und Interpolation in einem gemeinsamen Ansatz, der die Fähigkeiten des Diffusionsmodells für langfristige Konsistenz nutzt.

Verbesserte Langzeitstabilität und Interpolation

Ein zentrales Problem bei der Videogenerierung aus Event-Daten ist die zeitliche Kohärenz über längere Zeiträume. Bisherige generative Modelle neigen dazu, im Laufe der Zeit Artefakte zu akkumulieren oder die Konsistenz zu verlieren. LongE2V adressiert diese Herausforderungen, indem es langfristige zeitliche Stabilität und Frame-Interpolation verbessert. Das Verfahren nutzt die Fähigkeiten des vortrainierten Diffusionsmodells, um stabile Bildsequenzen über viele Frames hinweg zu erzeugen. Dadurch werden inkonsistente Sprünge vermieden und eine durchgängige Bewegungskohärenz erreicht. Auch die Interpolation von Zwischenbildern profitiert von diesem Ansatz, da das Modell anhand der Event-Daten sinnvolle Übergänge generieren kann, die nahtlos an die Nachbarframes anschließen. Die Entwickler beschreiben, dass LongE2V Rekonstruktion, Vorhersage und Interpolation in einem gemeinsamen Rahmen vereint, was konsistente Übergänge und eine realistische Bewegungsdarstellung ermöglicht. Die langfristige Stabilität wird durch die Nutzung des Diffusionspriors erreicht, der gelernt hat, realistische Bewegungsmuster über viele Frames beizubehalten.