Live RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos
↘

RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von Videos

Zhejiang University (ReLER) und ByteDance veröffentlichen Code und Daten für zwei Settings. Ob Sprach-Vision-Modelle hinter Experten zurückbleiben, lässt sich erst am Volltext der Ergebnisse prüfen.

· Veröffentlicht: 22.11.2026 ·2 Min Lesezeit
RoughCut-Bench: Neuer Benchmark prüft automatisches Rohschneiden von VideosMit KI erstellt
Inhalt
◆ Fakten auf einen Blick
  • Das visuelle Setting enthält 101 Fälle, 831 Rohvideos und 1.476 Highlight-Annotationen.
  • Das Sprach-Setting enthält 84 Fälle mit je einem ASR-Transkript und annotierten Bereinigungs-Spans.
  • Die Auswertung vergleicht Schnittpläne mit Annotationen; ein agentischer Evaluator prüft die Qualität gerenderter Schnitte.
  • Die Autoren schlagen agentische Workflows vor, in denen LVLMs strukturierte Schnittpläne erzeugen.
  • Code liegt auf GitHub, die Daten öffentlich auf Hugging Face unter zhaors00/RoughCut-Bench.

RoughCut-Bench misst automatisches Rohschneiden mit Vision-Language-Modellen

Forschende der Zhejiang University (ReLER) und von ByteDance stellen mit RoughCut-Bench einen Benchmark für das automatische Rohschneiden von Videos vor. Rohschnitt heißt: Rohmaterial zu einer ersten Fassung ordnen. Große Vision-Language-Modelle (LVLMs) sollen dafür Schnittpläne erzeugen. Das Paper von Ruisi Zhao, You Li, Sihan Chen und weiteren Autoren ist als KDD 2027 gekennzeichnet. Laut Evals Review trägt es die arXiv-Nummer 2611.24098.

Die Autoren behaupten im Abstract, aktuelle Modelle erreichten die Schnittpläne von Experten noch nicht. Welche Modelle getestet wurden und wie groß die Abstände ausfallen, ist bislang unbekannt. Der entsprechende Satz ist im Auszug abgeschnitten. Zusätzlich schlagen die Autoren agentische Workflows vor, in denen LVLMs aus dem Eingabematerial strukturierte Schnittpläne erzeugen. Ob diese Workflows etwas bringen, bleibt offen.

Zwei Settings: Highlights im Video, Bereinigung im Transkript

Das visuelle Setting umfasst 101 Fälle mit 831 Rohvideos und 1.476 Highlight-Annotationen. Die Modelle sollen Highlights erkennen und auswählen, Quellvideos ordnen und, sofern Nutzervorgaben vorliegen, diese befolgen.

Das sprachgetriebene Setting umfasst 84 Fälle. Jeder Fall besteht aus einem Transkript der automatischen Spracherkennung (ASR) samt annotierten Bereinigungs-Spans. Die Modelle sollen Füllwörter entfernen, wiederholte Ausdrücke deduplizieren und Inhalte mit geringem Wert kürzen. Die Sprachkomponente besteht aus Transkripten, nicht aus Talking-Head-Videos. Geprüft wird damit Textbereinigung, keine Videoanalyse.

In beiden Settings vergleichen die Autoren die erzeugten Schnittpläne mit den Annotationen. Im visuellen Setting bewertet außerdem ein agentischer Evaluator die Qualität gerenderter Schnitte. Die Autoren nennen ihn „human-aligned“, also an menschlichen Urteilen ausgerichtet. Wie stark seine Urteile mit denen von Menschen übereinstimmen, geht aus dem Auszug nicht hervor.

Code und Daten sind offen, Annotationsdetails fehlen

Der Code mit Workflows, Metriken, Rendering-Tools und Evaluator liegt auf GitHub. Die Daten stehen auf Hugging Face unter zhaors00/RoughCut-Bench und lassen sich ohne Login oder Freigabe laden. Die visuellen Materialien sind gesichtsverpixelt.

Veröffentlicht sind 810 MP4-Videos und 21 JPG-Bilder. Die Sprachfälle stammen aus 20 Quellgruppen. Laut Datensatzbeschreibung sind die visuellen Annotationen professionell erstellt. Wie viele Experten daran beteiligt waren und wie der Annotationsprozess ablief, bleibt unbeschrieben.

Für Forschende und Entwickler von Schnittwerkzeugen heißt das: Ergebnisse lassen sich nachrechnen, eigene Modelle gegen dieselben Annotationen testen und der Evaluator an Stichproben prüfen.

Der Befund ist erwartbar, der Neuheitsanspruch nicht

Dass Modelle hinter Fachleuten zurückbleiben, passt zu verwandten Arbeiten. AgenticVBench umfasst 100 agentische Postproduktions-Aufgaben aus realen Produktionsabläufen. Der beste getestete Agent erreicht laut Paper knapp über 30 Prozent und liegt damit weit unter Expertenniveau. MEDit-Bench, ein Benchmark für botschaftsgetriebenen Narrativschnitt, berichtet, dass Präferenzurteile per LLM-as-a-Judge wegen starker Positionsverzerrung unzuverlässig sind. Starke Modelle nähern sich der menschlichen zeitlichen Übereinstimmung nur bei großzügigen Schwellen. Bei strengeren Kriterien liegen alle Modelle hinter Menschen.

Die RoughCut-Autoren schreiben, es habe bislang keinen umfassenden Benchmark für Rohschnitt gegeben. Das ist eine Selbsteinordnung. Ob sie trägt, zeigt erst der Volltext mit Related-Work-Abschnitt und Ergebnistabellen. Offen bleibt ebenso, wie groß der Abstand zu Experten in RoughCut-Bench tatsächlich ist.

A
Andreas Rüdiger
Herausgeber & Redaktionsleitung · KI-Modelle, Technik & Business

Andreas Rüdiger ist Gründer der Agentur INREMA und verantwortet KI Spotlight redaktionell. Sein Schwerpunkt liegt auf KI-Modellen, Recheninfrastruktur, technischen Entwicklungen und der wirtschaftlichen Einordnung. Er sorgt dafür, dass komplexe KI-Themen verständlich und nachvollziehbar aufbereitet werden. Mehr zu ihm auf inrema.de und andiger.de.

Ähnliche Artikel