MFVSR: Neuer Benchmark bewertet Entfernung eingebrannter Untertitel in fünf Dimensionen

3.000 gepaarte Videos in 16 Sprachen: So ist MFVSR aufgebaut

Das Paper MFVSR stellt einen Benchmark für die Entfernung eingebrannter Untertitel aus Videos vor. Nach Angaben der Autoren umfasst er 3.000 gepaarte Videos aus drei Quellen: Real-HQ, Real-LQ und AI-Generated. Ein Zusatzset aus 953 realen Videos aus dem Alltag soll zeigen, wie gut die Abdeckung realer Szenarien ist.

Die Untertitel decken 16 Sprachen ab. Sie variieren in vier kontrollierten Faktoren: räumlichem Layout, zeitlichem Verhalten, visuellem Stil und Sprachmodus. Bewertet werden Restaurierung im Textbereich, Erhalt der Umgebung und zeitliche Konsistenz, jeweils getrennt. Die Autoren begründen das so: Bisherige Auswertungen stützten sich auf niedrig aufgelöste Datensätze, zersplitterte Testsets und allgemeine Video-Inpainting-Protokolle. Diese erfassten lokale Restaurierungsfehler, ungewollte Änderungen, zeitliche Instabilität und unvollständige Ergebnisse nur unzureichend.

Blind oder maskengeführt: Das Protokoll misst fünf Dimensionen getrennt

Kern des Papers ist ein informationsbedingtes, räumlich entkoppeltes Protokoll. Es unterscheidet blinde Entfernung, bei der das Verfahren den Text selbst finden muss, von maskengeführter Entfernung, bei der der Textbereich vorgegeben ist. Gemessen werden Restoration Fidelity, Preservation Fidelity und Temporal Fidelity sowie Abdeckung und Fehlschläge.

Sechs repräsentative Methoden wurden getestet. Die Autoren berichten von deutlichen Unterschieden zwischen lokaler Restaurierung, Erhalt außerhalb der Region, zeitlicher Konsistenz und Zuverlässigkeit über das Gesamtset. Konventionelle Vollbild-Metriken verdeckten diese Unterschiede, weil sie die Dimensionen in einem Wert zusammenfassen. Welche Methode in welcher Dimension vorn liegt, geht aus dem vorliegenden Material nicht hervor.

Den Anspruch, die Bewertung sei „umfassender und diagnostischer“, erheben die Autoren selbst. Er ist eine Herstellerangabe. Ob der Benchmark größer oder feiner ist als frühere, lässt sich nicht prüfen, weil keine Zahlen zu Vorgängern vorliegen. Auch die Einordnung als „neu“ stützt sich allein auf das Abstract.

Maskenfreie Diffusionsansätze als naheliegender Prüfstein

Verwandte Arbeiten kommen ohne Masken aus. CLEAR setzt auf Diffusion mit LoRA-Adaption, SEDiT auf einen One-step Diffusion Transformer. Bisherige diffusionsbasierte Ansätze benötigen dagegen explizite Masken. Nach eigenen Angaben übertrifft CLEAR maskenabhängige Baselines auf chinesischen Untertitel-Benchmarks um +6,77 dB PSNR und -74,7 % VFID. Zudem generalisiere es zero-shot auf sechs weitere Sprachen, darunter Deutsch.

Unklar bleibt, ob CLEAR oder SEDiT zu den sechs in MFVSR getesteten Methoden gehören. Falls ja, könnten sich die Rankings verschieben. Eine unabhängige Replikation, etwa auf MFVSR mit seinen 16 Sprachen, könnte die Zero-Shot-Angabe von CLEAR prüfen.