BenchMIRT: KI2 stellt statistisches Audit für LLM-Benchmarks vor

BenchMIRT: KI2 stellt statistisches Audit für LLM-Benchmarks vor

Das Allen Institute for AI (AI2) hat mit BenchMIRT ein neues Verfahren vorgestellt, das Large-Language-Model-Benchmarks auf der Ebene einzelner Prompts auditiert. Statt einen Benchmark als Ganzes zu bewerten, analysiert BenchMIRT, wie Modelle bei jeder einzelnen Frage oder Aufgabe abschneiden, und schätzt, welche zugrunde liegenden Fähigkeiten am stärksten mit einer richtigen Antwort assoziiert sind. Die Methode basiert auf der Item Response Theory (IRT), einer Technik aus der Psychometrie, und erweitert diese um mehrere Dimensionen. Trainiert wurde BenchMIRT auf den Antworten von 100 Large Language Models über 16 Benchmarks und mehr als 34.000 Fragen. Das Ziel ist es, die oft zu einer einzigen Kennzahl verdichteten Benchmark-Ergebnisse aufzubrechen und sichtbar zu machen, was ein Score tatsächlich misst. BenchMIRT erreicht dies, indem es die Leistung der Modelle auf jeder einzelnen Frage analysiert und daraus ableitet, welche latenten Fähigkeiten für korrekte Antworten entscheidend sind. So isoliert es die Beitragseffekte einzelner Items und trennt Signale, die in einem Durchschnittswert verschwimmen. Denn einzelne Aufgaben innerhalb eines Benchmarks können mehrere Fähigkeiten gleichzeitig erfordern – etwa Leseverständnis, mehrstufiges Schlussfolgern, Faktenwissen, Instruktionsbefolgung oder Entscheidungen über eine Verweigerung. Durch die statistische Analyse auf Prompt-Ebene will AI2 Forschern ein Werkzeug an die Hand geben, um solche Signale zu trennen und die tatsächlichen Treiber eines Benchmark-Scores zu identifizieren. Die Forscher betonen, dass BenchMIRT bestehende Benchmarks nicht entwertet, sondern eine feinere Signalentschlüsselung ermöglicht, um kleinere, fokussiertere und besser interpretierbare Evaluierungen zu bauen.

Wie Item Response Theory latente Fähigkeiten sichtbar macht

Die Item Response Theory stammt aus der Psychometrie und dient ursprünglich dazu, die Fähigkeit eines Testteilnehmers sowie Eigenschaften einzelner Fragen zu schätzen. BenchMIRT überträgt dieses Konzept auf Large Language Models und erweitert es zu einer multidimensionalen Variante. Statt nur eine einzige Fähigkeitsdimension anzunehmen, erlaubt BenchMIRT, dass dieselbe Frage mehrere latente Fähigkeiten gleichzeitig widerspiegelt. Die Schätzung erfolgt statistisch aus der gesamten Antwortmatrix von 100 LLMs über mehr als 34.000 Fragen, ohne dass die Forscher vorab festlegen, welche Fähigkeiten gemessen werden sollen. Entscheidend ist, dass die Benchmarks nicht im Voraus als Sicherheits- oder Reasoning-Tests etikettiert wurden. Stattdessen extrahiert das Verfahren die latenten Dimensionen rein aus den Antwortmustern vieler Modelle. Bei wiederholter Analyse identifizierte BenchMIRT konsistent zwei Hauptdimensionen: Sicherheit und allgemeines Reasoning. Diese Dimensionen sind statistische Muster in den Modellantworten und keine vollständige Definition dessen, wozu ein Modell fähig ist. Sie zeigen jedoch, welche zugrunde liegenden Fähigkeiten am stärksten mit korrekten Antworten auf bestimmte Fragen zusammenhängen. Auf diese Weise macht BenchMIRT sichtbar, dass ein Benchmark, der als Ganzes einer Kategorie zugeordnet wird, intern heterogen sein kann: Einzelne Aufgaben messen unterschiedliche Dinge, und ein Durchschnittswert verwischt diese Unterschiede.

Überraschende Befunde: BBQ misst Reasoning statt Bias, WMDP negativ korreliert

Die Analyse von BenchMIRT fördert überraschende Befunde zutage. Das BBQ-Benchmark, das eigentlich soziale Stereotype testen soll, korreliert trotz seiner Kategorisierung als Sicherheits- oder Bias-Test stärker mit allgemeinem Reasoning als mit Sicherheit. Ein konkretes Beispiel ist eine Frage, in der ein Großvater und sein Enkel versuchen, ein Uber zu buchen. Die Frage prüft Altersbias, erfordert aber zugleich, dass das Modell nachvollzieht, wer wer ist, und aus den gegebenen Informationen schlussfolgert, statt auf Annahmen zurückzugreifen. Dadurch hängt die korrekte Antwort stärker von Reasoning-Fähigkeiten ab als von Sicherheitsaspekten. BenchMIRT zeigt, dass viele BBQ-Fragen solche mehrstufigen Schlussfolgerungen verlangen, was den hohen Zusammenhang mit der Reasoning-Dimension erklärt. Auch innerhalb eines Benchmarks können verschiedene Aufgabengruppen unterschiedliche Fähigkeiten messen. WildJailbreak enthält sowohl schädliche Jailbreak-Prompts als auch harmlose Prompts, die testen sollen, ob ein Modell harmlose Anfragen zu oft ablehnt. BenchMIRT zeigt, dass die schädlichen Prompts stärker mit Sicherheit assoziiert sind, die harmlosen dagegen stärker mit allgemeinem Reasoning. Ein einziger Benchmark-Score, der beide Gruppen mittelt, verdeckt diesen Unterschied und kann zu Fehlinterpretationen führen. Ein weiterer Befund betrifft das WMDP-Benchmark, das gefährliches Wissen testen soll: Es korreliert negativ mit allgemeinem Reasoning. Das bedeutet, dass Modelle mit höheren Reasoning-Fähigkeiten tendenziell schlechter bei WMDP abschneiden – ein Hinweis darauf, dass dieses Benchmark andere Fähigkeiten misst als allgemeines Denken.

Effizienz und Grenzen: Weniger Fragen, gleiche Rangfolge – aber Missbrauchsrisiko

BenchMIRT kann nicht nur latente Dimensionen aufdecken, sondern auch die informativsten Fragen innerhalb eines Benchmarks identifizieren. Die Analyse zeigt, dass bereits ein Bruchteil der Fragen ausreicht, um dieselbe Modell-Rangfolge zu erhalten. Die Angaben variieren: Eine Quelle nennt eine Spanne von 10 bis 50 Prozent der Fragen, eine andere spricht von bereits 10 Prozent. In jedem Fall bedeutet das eine erhebliche Reduktion des Evaluierungsaufwands, ohne die Rangfolge der Modelle wesentlich zu verändern. Zudem sagt BenchMIRT die Leistung auf ungesehenen Fragen mit einer Genauigkeit von 79 Prozent voraus, verglichen mit 70 Prozent für eine naive Baseline. Das Verfahren hat jedoch Grenzen. Die Trainingsdaten umfassen nur Modelle bis März 2025, sodass neuere Modelle nicht abgedeckt sind. Außerdem besteht ein Missbrauchsrisiko: BenchMIRT macht sichtbar, welche Fragen stark mit der Sicherheitsdimension assoziiert sind. Ein böswilliger Akteur könnte diese Informationen nutzen, um gezielt sicherheitsrelevante Prompts aus einem Benchmark zu entfernen. Dadurch ließe sich ein Modell als sicherer darstellen, ohne dass sich seine tatsächliche Sicherheit verbessert – die Evaluation würde verzerrt. AI2 hat einen Datensatz mit Per-Item-Statistiken des BenchMIRT-Projekts auf Hugging Face veröffentlicht. Der Datensatz ist ausdrücklich nur für Benchmarking- und Evaluierungszwecke sowie für Forschung und Bildung freigegeben.

Was bedeutet das für Benchmark-Ersteller und Modellentwickler?

Die Befunde von BenchMIRT legen Konsequenzen für die Evaluierungspraxis nahe. Benchmark-Ersteller sollten ihre Aufgaben überprüfen: Wenn ein als Sicherheitstest deklariertes Benchmark tatsächlich überwiegend Reasoning misst, ist die Kategorisierung irreführend. Eine klarere Kennzeichnung oder Überarbeitung einzelner Aufgaben wäre nötig. Evaluationsplattformen könnten multidimensionale Auswertungen integrieren, um statt eines einzigen Scores die Beiträge verschiedener Fähigkeiten sichtbar zu machen. Modellentwickler könnten erleben, dass sich Rankings verschieben, wenn Benchmarks nach ihren tatsächlich gemessenen Dimensionen neu gewichtet werden. Beispielsweise könnte ein Modell mit starkem Reasoning, aber schwacher Sicherheit in einem als Sicherheitstest deklarierten Benchmark hoch ranken, bei getrennter Sicherheitsbewertung jedoch deutlich schlechter abschneiden. Für Nutzer ergibt sich eine realistischere Einschätzung: Ein hoher Score in einem vermeintlichen Sicherheitsbenchmark bedeutet nicht automatisch hohe Sicherheit, wenn das Benchmark hauptsächlich Reasoning prüft. BenchMIRT liefert damit ein Werkzeug, um die Aussagekraft von LLM-Benchmarks differenzierter zu beurteilen und die Entwicklung zukünftiger Evaluierungen zu verbessern.