KI SpotlightNewsManga2Animate: Agenten prüfen Skript und Storyboard gegen die Manga-Panels
Forschende der National Yang Ming Chiao Tung University lassen zwischen Manga-Seiten und Videogenerierung zwei geprüfte Zwischenstufen laufen. Die Qualitätsangaben stammen bisher allein von den Autoren.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Manga2Animate ist ein Multi-Agenten-Framework, das jede Generierungsstufe an den Quell-Manga bindet.
- Die Autoren stammen von der National Yang Ming Chiao Tung University; Projektseite verfügbar.
- Der Ablauf umfasst Vorverarbeitung, Skript- und Storyboard-Verfeinerung sowie Videogenerierung.
- Skript und Storyboard werden über zwei Feedback-Runden verfeinert.
- Es gibt einen Referenzmodus (ref) und einen i2v-Modus mit Startframes.
Zwei Agentenpaare prüfen Skript und Storyboard gegen die Panels
Forschende der National Yang Ming Chiao Tung University stellen Manga2Animate vor, ein Multi-Agenten-Framework. Aus wenigen Manga-Seiten und einer Charakterreferenz soll es eine Animation erzeugen. Beteiligt sind Sheng-Wei Zhang, Hsi-An Chen und Yan-Ting Liou (gleicher Beitrag) sowie Chih-Hsuan Chen, Shih-Chen Tseng und Yu-Lun Liu. Zwischen den Panels und der Videogenerierung sitzen zwei Zwischenrepräsentationen: ein Animationsskript und ein visuelles Storyboard. Für jede davon erstellt ein Creator-Agent einen Entwurf. Ein gepaarter Reviewer-Agent prüft ihn anschließend gegen die Quell-Panels.
Die Autoren sehen darin die Neuerung. Bisherige Ansätze behandelten Manga entweder nur als Text, wodurch Figuren und Zeichenstil verloren gingen. Oder sie gaben ganze Seiten direkt an Videomodelle. Diese deuteten das Panel-Layout dann falsch und erzählten die Handlung falsch. Belegt ist diese Abgrenzung bislang nur durch das Paper, die Projektseite und einen Sekundärbericht. Eine unabhängige Prüfung fehlt.
Von der Magi-Vorverarbeitung bis zum Video in drei Stufen
Der Ablauf umfasst drei Stufen. In der Vorverarbeitung erkennt das Werkzeug Magi die Panels, legt die Leseordnung fest und extrahiert den Text. Ein Character Description Creator leitet aus dem Referenzbild Identitätsmerkmale der Figur ab. In der zweiten Stufe werden Skript und Storyboard in zwei Feedback-Runden verfeinert. Erst danach beginnt die Videogenerierung.
Dafür gibt es zwei Modi. Der Referenzmodus (ref) arbeitet auf Basis der Charakterreferenz. Im i2v-Modus zerlegt das System das Storyboard in Startframes. Aus diesen entstehen die Videosegmente.
Treuere Animationen: Herstellerangabe, Code als Forschungsframework
Die Autoren schreiben, Experimente und eine Nutzerstudie zeigten Animationen, die dem Manga treuer seien und über verschiedene Einstellungen hinweg konsistenter. Konkrete Zahlen liegen im vorliegenden Material nicht vor. Die Aussage ist unabhängig nicht geprüft. Prüfen ließe sie sich über das Paper mit Metriken, Baselines und Nutzerstudie sowie über den öffentlichen mangaeval-Code.
Das GitHub-Repository enthält Pipeline-Code für Panel-Zuschnitt, Magi-Transkript, Verfeinerung und Videoerstellung. Dazu kommen die Agent-Prompts, ein Setup für Open-Source-Backends, der Evaluationscode und ein Dataset-Abschnitt. Laut einem Sekundärbericht gilt der Code als Forschungsframework. Wer die Ergebnisse lokal reproduzieren will, muss ein Videogenerierungs-Backend selbst anbinden. Die Gewichte sind nicht gebündelt.
