CulturalRiddles: Spitzenmodelle erreichen bei Rätseln aus 62 Kulturen teils nur 22 Prozent

Spitzenmodelle scheitern an Rätseln aus 62 Kulturen, in manchen Communities bei höchstens 22 Prozent

CulturalRiddles heißt ein neuer Benchmark. Er soll prüfen, wie gut große Sprachmodelle verschiedene Kulturen verstehen und anwenden. Die Rätsel sind nach Angaben der Autoren original und kulturell verankert. Vollständig entstanden sind sie in einem partizipativen Prozess mit Communities. Der Benchmark umfasst 62 Kulturen, 45 Länder und 51 Sprachen.

Die Autoren testeten 28 LLM-Konfigurationen, automatisch und mit umfangreicher menschlicher Bewertung. Selbst Spitzenmodelle kommen in manchen Communities auf höchstens 22 Prozent Genauigkeit. Welches Modell in welcher Community wie abschneidet, lässt das vorliegende Material offen.

Den Ansatz begründen die Autoren mit einer Kritik an bestehenden Benchmarks. Viele seien englischzentriert und deckten Kulturen nur begrenzt ab. Außerdem gewichteten sie Faktenwissen stärker als dessen Anwendung in realen kulturellen Kontexten.

167 Muttersprachler, 6.191 Rätsel, 170.520 bewertete Antworten

Die Rätsel stammen von 167 Muttersprachlern. Als Einheit dient die heutige national-sprachliche Community, etwa Spanisch in Argentinien oder Bengali in Indien. Sprache und Community fallen daher nicht zusammen. Argentinische, kubanische und peruanische Rätsel sind alle spanisch, stammen aber aus drei Kulturen. 1.234 Rätsel gehen auf Themen zurück, die die Communities selbst gewählt haben.

Das GitHub-Repository nennt 6.191 Rätsel aus 62 Communities. Der veröffentlichte Stand enthält 170.520 Antworten der 28 Modellkonfigurationen auf 6.090 bewertete Rätsel. Jede Antwort wird entweder per Regeln, durch anonyme Muttersprachler-Labels oder durch zwei übereinstimmende LLM-Judges bewertet. Der Datensatz umfasst vier Tabellen, darunter Rätsel, Modellantworten (model_answers) und Labels.

Daten, Code, eine interaktive Rätselseite und ein Ergebnis-Dashboard sind öffentlich. Den Datensatz findet man auf Hugging Face unter CohereLabsCommunity/CulturalRiddles, den Code auf GitHub unter Cohere-Labs-Community/CulturalRiddles. Der Code steht unter Apache-2.0. Für die Daten gelten gesonderte Datennutzungsbedingungen. Das Paper ist unter arXiv:2610.29968 verzeichnet. Über einen offenen Beitragsprozess soll der Benchmark um weitere Sprachen und Kulturen wachsen.

Rätsel statt Alltagswissen

Zum Vergleich dient BLEnD. Dieser handgefertigte Benchmark umfasst 52,6k Frage-Antwort-Paare aus 16 Ländern beziehungsweise Regionen in 13 Sprachen, im Kurzantwort- und im Multiple-Choice-Format. BLEnD prüft Alltagswissen. Dessen Autoren berichten, LLMs schnitten bei online gut repräsentierten Kulturen besser ab. Der Abstand betrage bei GPT-4 im Kurzantwortformat maximal 57,34 Prozent. CulturalRiddles deckt mit 62 Kulturen mehr ab. Statt Faktenabfragen setzt es auf Rätsel.

Zwei Eigenschaften der Rätsel sind Herstellerangaben, also Aussagen der Autoren. Erstens seien die Rätsel original und unveröffentlicht. Deshalb widerstünden sie Memorierung und Suche. Ein Muttersprachler erkenne die Antwort sofort, ein Modell löse sie nur mit dem Wissen der Kultur. Zweitens verlangten sie abduktives und kompositionelles Schließen sowie detailliertes Fakten- und Sozialwissen. Prüfen lassen sich beide Aussagen anhand der Kontaminationsanalyse und der Fehleranalyse im Paper sowie einer unabhängigen Auswertung der Modellantworten im Datensatz.