Ein Satz im Prompt kippt das Neuheitsurteil: Ai2 stellt LLM-Judges für Forschungsideen infrage

Ein Prompt-Hinweis kippt das Neuheitsurteil bei mehr als der Hälfte identischer Ideenpaare

Das Allen Institute for AI (Ai2) hat die Studie „Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation“ veröffentlicht. Außerdem stellt das Institut einen Benchmark, Daten und Code zum Testen von Neuheits-Judges bereit. Hinzu kommt eine automatisierte Pipeline, mit der andere Forschende eigene Evaluationssets bauen können.

Der zentrale Befund steht im Abstract. Die Autoren testeten sechs Judges. Teilt man einem Judge lediglich mit, Reviewer hätten die eine Idee als neu und die andere als nicht neu eingestuft, ändert sich sein Urteil bei mehr als der Hälfte der identischen Ideenpaare. Die paarweise Genauigkeit verschiebt sich dabei um über 50 Punkte und fällt gelegentlich unter Zufallsniveau. Erschwerend kommt hinzu, dass dieselbe Änderung dem einen Judge hilft und dem anderen schadet. Eine Prompt-Variante, die sich verlässlich als „besser“ festlegen ließe, gibt es also nicht.

Das hat Gewicht. Automatische Ideationssysteme werden häufig an der Neuheit ihrer Ideen gemessen, und dieses Urteil wandert zunehmend an LLMs. Hängt das Ergebnis an einem Zusatzsatz, eignet sich der Judge nur eingeschränkt als Messinstrument. Die Befunde stammen von den Autoren selbst. Eine unabhängige Replikation liegt nicht vor.

Wie Ai2 aus OpenReview-Reviews ein Testset baut

Als „Novelty Judges“ bezeichnet Ai2 LLMs, die beurteilen, ob eine Idee gegenüber früheren Arbeiten neu ist. Das geschieht entweder für sich allein oder im Vergleich mit einer zweiten Idee. Einen Standard dafür gibt es nach Angaben des Instituts nicht. Teams wählen Modell, Prompt, Evaluationsformat und Reasoning-Budget selbst, teils kommt ein Retrieval-System zur Literatursuche hinzu. Laut Ai2 können diese Entscheidungen das Urteil erheblich beeinflussen. Die Studie untersucht sie kontrolliert.

Das Testset entsteht automatisch. Laut Abstract durchsuchen die Autoren OpenReview nach Passagen, in denen Reviewer die Originalität einer Arbeit ausdrücklich bejahen oder bestreiten. Berücksichtigt werden nur Einreichungen mit einstimmigem Urteil an den Extremen ihres Forschungsgebiets. Diese Arbeiten paaren die Autoren mit Ideen eines einfachen („vanilla“) LLM-Generators. Das menschliche Urteil dient so als Referenz, gegen die die Judges antreten.

Wie groß der Benchmark ist und welche sechs Modelle getestet wurden, geht aus dem vorliegenden Material nicht hervor. Dem Material liegen nur der Abstract und eine gekürzte Blogzusammenfassung zugrunde. Auch die Frage, wie gut sich Reviewer-Urteile über Originalität als Referenz eignen, lässt sich damit nicht beantworten.

Retrieval und größere Reasoning-Budgets bringen kaum etwas

Der zweite Befund steht ebenfalls im Abstract: Literatur-Retrieval und größere Reasoning-Budgets helfen wenig. Man könnte erwarten, dass ein Judge, der mehr Vorarbeiten sieht oder länger nachdenkt, zuverlässiger urteilt. Diese Studie bestätigt das nicht. Zwei speziell für Neuheitsbewertung gebaute Evaluatoren werden zudem von der günstigsten promptbasierten Baseline der Autoren übertroffen.

Die Autoren ziehen daraus eine weitreichende Folgerung: Berichtete Neuheitsgewinne automatischer Ideationssysteme stünden infrage. Das ist eine Schlussfolgerung der Studienautoren, keine unabhängig bestätigte Tatsache. Sie stützt sich darauf, dass solche Gewinne oft mit genau jenen Judges gemessen werden, deren Verlässlichkeit hier bezweifelt wird.

Brisant ist das auch für Ai2 selbst. Das Institut entwickelt mit DataVoyager (Analyse strukturierter Daten), AutoDiscovery (Hypothesen generieren und testen), Theorizer (Synthese von Literatur zu Theoriekandidaten) und Asta Systeme, die Forschende vom Verstehen früherer Arbeiten zum Vorschlagen und Testen neuer Ideen führen sollen. Ai2 ist also unmittelbar betroffen. Zur Qualität dieser Systeme oder dazu, wie ihre Neuheit bewertet wurde, liegt im Material nichts vor.

Überschätzte Neuheit: Was andere Studien zu LLM-Urteilen über Ideen zeigen

Ai2 steht mit seiner Skepsis nicht allein. Die Literatur zeichnet allerdings kein einheitliches Bild.

RQ-Bench der Nanyang Technological University (DeCLaRe Lab) untersucht Neuheitsurteile an Forschungsfragen aus aktuellen arXiv-Papers. LLM-Judges stufen modellgenerierte Fragen durchgehend als hoch neu ein. Die Autoren sprechen von einer „novelty mirage“. Im paarweisen Vergleich fällt die Präferenz noch deutlicher aus. Domänenexperten kommen zum gegenteiligen Ergebnis und bevorzugen die autorenverankerten Referenzfragen.

Das Framework HindSight vergleicht Ideen per Zeit-Split mit realen späteren Publikationen. Seine Scores korrelieren laut Abstract negativ mit der von LLMs bewerteten Neuheit. Die Autoren deuten das als systematische Überbewertung neu klingender Ideen, die nie in echter Forschung auftauchen.

Si et al. kamen dagegen in einer Studie mit über 100 NLP-Forschenden zu einem anderen Ergebnis. In blinden Reviews bewerteten Experten LLM-generierte Ideen als neuartiger (p < 0.05) und etwas weniger machbar als Expertenideen. Eine Folgestudie mit 43 Forschenden, die Ideen über jeweils mehr als 100 Stunden umsetzten, zeigt: Die Bewertungen der LLM-Ideen sinken nach der Ausführung deutlich stärker als die der Expertenideen. In mehreren Metriken kehrt sich die Rangfolge sogar um.

Eine Großstudie mit 6.749 Forschenden und 25.139 Bewertungssätzen fand außerdem, dass nicht-reasoning-LLMs in einen engen „Hivemind“ ähnlicher Ideen kollabieren. Kein Modelltyp schlägt von sich aus Nullhypothesen vor.

Widerspruch oder nur Spannung: Menschliche Experten, LLM-Judges und speziell gebaute Evaluatoren

Zwei Spannungen verdienen genaues Hinsehen.

Die erste betrifft die Experten selbst. Bei Si et al. halten Fachleute LLM-Ideen für neuer als menschliche, bei RQ-Bench bevorzugen Domänenexperten die Referenzfragen der Autoren. Das wirkt wie ein Widerspruch. Das Material nennt mögliche Gründe, belegt sie aber nicht. Si et al. ließen ganze Ideen in einem NLP-Setting blind begutachten, RQ-Bench prüft Forschungsfragen aus arXiv-Papers gegen autorenverankerte Referenzen. Auch Fachgebiet, Prompting und Bewertungsdimensionen unterscheiden sich. Die Studien sind deshalb nur eingeschränkt vergleichbar. Die Folgestudie zur Umsetzung passt dazu: Sie legt nahe, dass der anfängliche Neuheitsvorsprung der LLM-Ideen nicht stabil ist.

Die zweite Spannung betrifft zweckgebaute Evaluatoren. Ein dreistufiger, literaturgestützter Ansatz des UKP Lab (EACL 2026) erreicht nach Angaben der Autoren auf 182 ICLR-2025-Einreichungen 86,5 % Übereinstimmung mit der menschlichen Argumentation und 75,3 % bei den Neuheitsschlüssen. Er übertrifft bestehende LLM-Baselines. Ai2 sieht dagegen zwei speziell gebaute Evaluatoren von einer günstigen promptbasierten Baseline geschlagen und Retrieval als wenig hilfreich.

Ob der UKP-Ansatz zu den zwei von Ai2 getesteten Evaluatoren gehört, lässt sich dem Material nicht entnehmen. Auch deren Namen fehlen. Eine Widerlegung folgt daraus nicht. Wahrscheinlich liegt der Unterschied an den Datensätzen und Aufgaben: Dort werden einzelne Einreichungen gegen Reviewer-Urteile geprüft, hier paarweise Vergleiche mit LLM-generierten Ideen.

Was die Instabilität für Ideation-Entwickler und Evaluationsforschung heißt

Zunächst trifft der Befund Entwickler automatischer Ideations- und Forschungsagenten, Ai2 eingeschlossen. Wer Neuheit auf einen einzelnen LLM-Judge stützt, sollte sie gegen Prompt-Variationen prüfen. Andernfalls fließt die beschriebene Instabilität unbemerkt in Leistungsvergleiche ein.

Evaluationsforschende erhalten Benchmark, Daten, Code und Pipeline. Damit können sie die Ergebnisse nachvollziehen oder auf andere Gebiete übertragen. Potenziell betroffen sind auch das Peer Review, in dem LLM-gestützte Neuheitsprüfung diskutiert wird, sowie Förderorganisationen. Konkrete Einsatzfälle oder Richtlinien liegen im Material allerdings nicht vor.

Offen bleibt vieles. Das Material besteht nur aus Abstract und gekürzter Blogzusammenfassung. Eine unabhängige Replikation fehlt ebenso wie Details zu Benchmark-Umfang und getesteten Modellen. Ob sich die Ergebnisse auf andere Fachgebiete oder neuere Modelle übertragen lassen, ist ungeklärt.

Ai2 selbst argumentiert, Ideen müssten wirklich neu sein, und Systeme bräuchten eine verlässliche Unterscheidung zwischen neuer Richtung und Umverpackung. Das ist die Position des Herstellers, der eigene Forschungssysteme baut. Unabhängig geprüft ist sie nicht.