NARU: Neues japanisches Langform-Video-Benchmark für narrative Entwicklung und kulturelles Reasoning

NARU: Neues Benchmark für narrative Entwicklung und kulturelles Reasoning

Das neue Benchmark NARU soll japanische Langform-Videos daraufhin bewerten, wie gut Modelle narrative Entwicklung und kulturelles Reasoning erfassen. Nach Angaben der Autoren setzt es dafür auf eine hierarchische Annotations-Pipeline; die Annotationen werden umfangreich von Muttersprachlern verifiziert. Der Fokus liegt auf extrem langen Videos, in denen sich Handlungsstränge über längere Zeit entfalten und kulturelle Nuancen eine Rolle spielen. NARU ist damit als japanisches Langform-Video-Benchmark angelegt, das diese beiden Fähigkeiten gemeinsam prüft. Die hierarchische Struktur der Annotation soll es ermöglichen, unterschiedliche Ebenen des Verständnisses abzubilden – von einzelnen Szenen bis zur übergreifenden Erzählung. Die Verifikation durch Muttersprachler dient dazu, kulturell bedingte Interpretationen abzusichern, die für Nicht-Muttersprachler schwer zu beurteilen sind. Damit zielt das Benchmark auf eine Lücke: Bestehende Tests erfassen narrative Entwicklung und kulturelles Reasoning nach Angaben der Autoren selten gemeinsam, insbesondere in kontextreichen, nicht-englischen Umgebungen. Die hierarchische Annotations-Pipeline strukturiert die Erfassung in mehreren Ebenen, sodass sowohl lokale Ereignisse als auch die narrative Gesamtentwicklung berücksichtigt werden. Die umfangreiche Verifikation durch Muttersprachler soll zudem sicherstellen, dass kulturelle Implikationen nicht durch automatisierte Verfahren verfälscht werden.

Langform-Videoverständnis: Mehr als isolierte Ereignisse

Langform-Videoverständnis geht nach Angaben der Autoren über das Abrufen isolierter Ereignisse hinaus. Es verlangt, eine sich entwickelnde Erzählung über längere Zeit zu verfolgen und soziale Bedeutung zu interpretieren, die implizit bleiben kann. Solche Aufgaben erfordern, Zusammenhänge zwischen Szenen herzustellen und kulturell geprägte Hinweise zu erkennen, die nicht explizit ausgesprochen werden. Bestehende Benchmarks bewerten diese Fähigkeiten selten gemeinsam, insbesondere in kontextreichen, nicht-englischen Umgebungen. NARU soll diese Lücke schließen, indem es narrative Entwicklung und kulturelles Reasoning in japanischen Langform-Videos gemeinsam prüft. Damit zielt das Benchmark auf ein Verständnis, das über die reine Erkennung einzelner Handlungen hinausgeht und die Interpretation der gesamten Erzählung einschließlich ihrer sozialen Implikationen einbezieht. Die Fähigkeit, implizite soziale Bedeutung zu erfassen, ist besonders in kulturell dichten Kontexten gefordert, in denen viele Informationen nicht verbalisiert werden.