Scientific-Judgment Collapse: Wenn KI-Reviewer von KI-Reviews lernen

Synthetische Reviews lassen KI-Urteil kollabieren

Eine kontrollierte Studie untersucht erstmals einen Schritt des Feedback-Loops im KI-gestützten Peer-Review. Ausgangspunkt ist das Sprachmodell Llama 3.1 8B, das auf offiziellen ICLR-Reviews der Jahre 2018 bis 2023 feinabgestimmt wurde. Anschließend trainierten die Forscher vier Nachfolgemodelle auf ICLR-2024-Daten, wobei sie den Anteil modellgenerierter Reviews systematisch variierten. So ließ sich isolieren, welchen Effekt synthetische Urteile auf die nächste Generation von KI-Reviewern haben.

Das Ergebnis ist eindeutig: Sobald synthetische Reviews in die Trainingsdaten gelangen, komprimieren sich die Verteilungen der vergebenen Bewertungen. Die Modelle vergeben zunehmend ähnliche Ratings und verlieren an semantischer Vielfalt – sowohl innerhalb einzelner Papiere als auch über den gesamten Korpus hinweg. Die Kompression der Rating-Verteilungen bedeutet, dass extreme Bewertungen seltener werden und sich die Urteile in der Mitte ballen. Die Autoren bezeichnen dieses Muster als Scientific-Judgment Collapse. Der Mechanismus dahinter ist ein Rückkopplungseffekt: Wenn KI-Reviewer von Urteilen früherer KI-Reviewer lernen, verstärken sich deren Tendenzen. Die Vielfalt wissenschaftlicher Einschätzungen geht verloren, weil die Modelle sich gegenseitig imitieren, statt unabhängige Urteile zu fällen. Die Studie liefert damit den ersten kontrollierten Beleg für einen solchen Kollaps im Peer-Review und zeigt, dass bereits ein einziger Schritt des Feedback-Loops ausreicht, um messbare Degeneration zu erzeugen. Die kontrollierte Umgebung erlaubt es, den Effekt synthetischer Reviews klar von anderen Einflussfaktoren zu trennen.

TrustReviewer: Prävention und Korrektur in zwei Stufen

Als Gegenmaßnahme stellen die Autoren das Open-Source-System TrustReviewer vor. Es greift auf zwei komplementären Ebenen ein, um den Scientific-Judgment Collapse zu verhindern oder abzumildern. TrustReviewer ist speziell für die Erstellung von Peer-Reviews für KI- und Machine-Learning-Papiere konzipiert.

Die erste Stufe ist die Trainingszeit-Prävention. Statt den Reviewer mehrstufig auf möglicherweise kontaminierten Daten zu trainieren, wird das Kernmodell in einem einzigen Schritt auf einem kuratierten Korpus trainiert. Dieser Korpus ist so zusammengestellt, dass er minderwertige und semantisch degenerierte Supervision reduziert. Das kuratierte Korpus wurde so zusammengestellt, dass es eine breite Palette qualitativ hochwertiger und semantisch vielfältiger Reviews enthält, um dem Modell eine robuste Grundlage zu geben. Dadurch soll das Modell von vornherein lernen, differenzierte Urteile zu fällen, ohne sich an verflachten Vorgängermustern zu orientieren. Die einstufige Trainingsstrategie verhindert, dass sich synthetische Urteile über mehrere Generationen hinweg akkumulieren.

Die zweite Stufe ist die Testzeit-Korrektur. Hier kommt ein Verfahren namens paired activation steering zum Einsatz. Es lenkt die Aktivierungen des Modells während der Inferenz gezielt, um verbleibende Tendenzen zu kollabierten Urteilen zu korrigieren – ohne weiteres Training und ohne zusätzliche Expertenannotationen. Das System bleibt damit flexibel und kann auch auf bereits trainierte Modelle angewendet werden. Die Kombination beider Stufen soll verhindern, dass sich der Scientific-Judgment Collapse in der Praxis manifestiert.

Verlage setzen auf KI-Reviewer – mit Leitplanken

Parallel zur Forschung setzen Verlage und Konferenzen zunehmend auf KI-Werkzeuge im Peer-Review. Springer Nature hat ein KI-Tool für Editoren und Peer-Reviewer gestartet, das Qualitätschecks automatisiert und auf potenziell ungeeignete Manuskripte hinweist. Das Tool wurde in-house entwickelt und ist die neueste KI-Anwendung des Verlags nach Gepetto und Snappshot, die zur Identifizierung gefälschter Inhalte dienen. Es wird derzeit auf über 100 Open-Access-Journalen getestet, darunter Scientific Reports, und hat bereits über 100.000 Einreichungen durchlaufen. In jedem Fall prüft ein menschlicher Experte die Ergebnisse, bevor eine Entscheidung fällt – eine klare Leitplanke gegen unkontrollierte Automatisierung.

Google hat mit dem Paper Assistant Tool (PAT) ein agentisches KI-System entwickelt, das vollständige Manuskripte analysiert, theoretische Ergebnisse prüft, Experimente validiert und Verbesserungsvorschläge macht. Das Tool nutzt Inference Scaling, um tiefere Fehler zu finden als ein einzelner Modellaufruf, und erzielt eine Verbesserung gegenüber Zero-Shot-Recall bei mathematischen Fehlern im SPOT-Benchmark. Pilotiert wurde PAT als Pre-Submission-Werkzeug für Autoren bei den Informatik-Konferenzen STOC und ICML, wo es kritische Fehler identifizieren und substantielle Verbesserungen vorschlagen konnte.

Eine Marktübersicht für das Jahr 2026 unterscheidet drei Produktkategorien: Detektionstools, Assistenzwerkzeuge und automatisierte Review-Generatoren. Der dominante Trend sind hybride Workflows, bei denen menschliche Reviewer im Loop bleiben, KI aber nutzen, um Lesezeit zu reduzieren und Konsistenz zu verbessern. Gleichzeitig ziehen große Verlage Grenzen: Elsevier, Wiley, Springer und die US-amerikanischen National Institutes of Health (NIH) verbieten Reviewern das Hochladen von Manuskripten in KI-Tools. Diese Verbote spiegeln die Sorge wider, dass vertrauliche Manuskripte in externe KI-Systeme gelangen und dort gespeichert oder für Trainingszwecke verwendet werden könnten. Damit sollen Vertraulichkeit und Urheberrecht geschützt werden – ein Hinweis darauf, dass die Branche die Risiken erkannt hat und auf kontrollierte Einführung setzt.

Widerspruch: Einzelne KI-Reviews können besser sein als menschliche

Die Ergebnisse zum Scientific-Judgment Collapse stehen in einem Spannungsverhältnis zu einer anderen aktuellen Studie. In einer groß angelegten Expertenannotation bewerteten 45 Wissenschaftler aus Physik, Biologie und Gesundheitswissenschaften insgesamt 2.960 einzelne Kritikpunkte aus menschlichen und KI-generierten Reviews von 82 Nature-Family-Papieren. Die Wissenschaftler verbrachten insgesamt 469 Stunden mit der Bewertung, wobei jeder Kritikpunkt einen spezifischen Aspekt eines Papiers betraf. Die Bewertung erfolgte auf den Dimensionen Korrektheit, Signifikanz und Evidenzbasierung. Auf einem Kompositmaß aus diesen drei Dimensionen schnitt ein auf GPT-5.2 basierender Review-Agent besser ab als der jeweils beste menschliche Reviewer eines Papiers (60,0 Prozent gegenüber 48,2 Prozent). Der Kompositwert kombiniert die drei Dimensionen zu einem Gesamtmaß, das die Qualität eines Reviews ganzheitlicher abbildet. Auch die anderen getesteten KI-Reviewer – Gemini 3.0 Pro und Claude Opus 4.5 – übertrafen den jeweils schlechtesten menschlichen Reviewer in allen Dimensionen. Die Autoren der Qualitätsstudie weisen darauf hin, dass bestehende Evaluationen oft nur die Übereinstimmung mit menschlichen Urteilen messen, was die Fähigkeiten von KI-Reviewern unzureichend charakterisiert.

Der scheinbare Widerspruch löst sich auf, wenn man die Szenarien trennt. Die Kollaps-Studie untersucht den Effekt des Trainings auf modellgenerierten Reviews – also einen Feedback-Loop über mehrere Generationen. Die Qualitätsstudie bewertet dagegen einzelne KI-Reviews im direkten Vergleich zu menschlichen Reviews, ohne dass diese KI-Reviews wieder in das Training einfließen. Kurzfristig können KI-Reviews also durchaus hohe Qualität erreichen. Langfristig droht jedoch ein Verlust an Urteilsvielfalt, wenn solche Reviews als Trainingsdaten dienen. Beide Befunde ergänzen sich: Die Einzelreview-Qualität ist kein Schutz gegen den systemischen Kollaps.

KI-Qualitätsverlust ist kein Einzelfall

Der Scientific-Judgment Collapse reiht sich ein in eine Serie von Beobachtungen, wonach der Einsatz von KI nicht automatisch zu besseren Ergebnissen führt. In einem früheren Fall griffen KI-Modelle eines Testanbieters bei Sicherheitsüberprüfungen reale Systeme an, statt nur simulierte Angriffe durchzuführen – ein Fehler mit potenziell gravierenden Folgen. Eine andere Studie zu KI-Coding-Tools zeigte, dass die Werkzeuge die Entwicklung zwar beschleunigen, die Code-Qualität jedoch messbar leidet.

Beide Fälle teilen ein Muster mit dem jetzt dokumentierten Kollaps im Peer-Review: KI-Systeme können Prozesse effizienter machen, aber wenn ihre Ausgaben unkontrolliert in nachgelagerte Schritte einfließen – sei es als Trainingsdaten, als Handlungsempfehlung oder als Code –, können sich Fehler und Verzerrungen verstärken. Der Scientific-Judgment Collapse ist damit kein isoliertes Problem der Wissenschaft, sondern ein weiteres Beispiel für systemische Qualitätsrisiken beim Einsatz generativer KI. Die Parallelen legen nahe, dass Governance und Feedback-Loop-Design entscheidend sind, um langfristige Degeneration zu verhindern. Insbesondere muss verhindert werden, dass synthetische Urteile unkontrolliert in Trainingsdaten gelangen.