Seltene Trainingsfakten als Entdeckungsressource: Preprint verknüpft Halluzinationsforschung mit wissenschaftlicher Entdeckung

Seltene Fakten als Entdeckungsressource: Das Paper und sein Befund

Fakten, die ein Sprachmodell im Training genau einmal sieht, könnten bei seiner Fähigkeit zu wissenschaftlichen Entdeckungen eine Rolle spielen. Ein Preprint mit dem Titel „Tracing the Scientific Discovery Capacity of LLMs to Their Training Data“ legt diesen Schluss nahe. Der Abstract ist außerdem auf neurips.cc geführt. Die Autoren nennen solche Fakten Monofacts. Theoretisch beschreiben sie die Größe als Bestimmungsfaktor der Entdeckungskapazität, und zwar im Sinn der „missing probability mass“: der Wahrscheinlichkeit, die auf Ergebnisse entfällt, die im Training nie vorkamen.

Die Autoren verändern die Monofact-Rate der Trainingsdaten gezielt. Getestet wird in Materialwissenschaft und regulatorischer Genomik. Laut Abstract bringen höhere Raten durchgängig mehr Entdeckungen. Das gilt für zwei offene Modellfamilien, mehrere Sampling-Strategien und unterschiedliche Reasoning-Budgets. Cryptobriefing zufolge erschien die Studie am 3. November 2026. Bewertet wurde die Entdeckung an zurückgehaltenen Materialien und DNA-Sequenzen, die nach dem Trainings-Cutoff liegen. Die Zuordnung zur Johns Hopkins University beruht allein auf einer Presseseite, die diese Universität nennt.

Den Zusammenhang führen die Autoren nach eigenen Angaben nicht allein auf die Diversität des Trainingssets zurück. Bei Kombination mit In-Domain-Daten über wissenschaftliche Domänen hinweg könne er sich außerdem übertragen. Effektstärken, Metriken und Signifikanzwerte gehen aus dem vorliegenden Material nicht hervor.

Von der Halluzinationsschranke zur Entdeckung: Was neu ist und was nicht

Die Arbeit knüpft an die Missing-Mass-Theorie von Adam Kalai und Santosh Vempala an (STOC 2024). Dieser Theorie zufolge ist die Halluzinationsrate nach unten begrenzt, und zwar durch die Monofact-Rate abzüglich der Fehlkalibrierung des Modells. Neu ist, dieselbe Long-Tail-Größe als Ressource zu deuten. Der Long Tail wissenschaftlicher Daten sei eine Quelle von Halluzinationsrisiko und zugleich eine statistische Ressource für Entdeckung, schreiben die Autoren. Neu ist außerdem die direkte experimentelle Manipulation der Monofact-Rate in diesem Anwendungsfeld.

Die Monofact-Idee selbst und die Kritik an aggressiver Deduplizierung stammen aus früheren Arbeiten. Eine empirische Untersuchung mit n-Gramm-Modellen und In-Context-Learning validiert die Kalai-Vempala-Theorie. Sie regt an, selektive Duplikation als Mittel gegen Halluzination zu erwägen. Eine weitere Arbeit berichtet, die Halluzinationsrate lasse sich durch Manipulation der Faktenhäufigkeitsverteilung um bis zu 40 Prozent senken, ohne Genauigkeitsverlust. Laut einer Zusammenfassung auf Hugging Face folgt aus „Why Language Models Hallucinate“ (arXiv 2509.04664) eine Untergrenze für die Singleton-Rate: Rund 20 Prozent Singleton-Fakten implizieren mindestens rund 20 Prozent Halluzination.

Hier entsteht ein Zielkonflikt, kein Widerspruch im engeren Sinn. Dieselbe Größe wirkt als Halluzinationsrisiko und als Entdeckungspotenzial. Die Autoren sprechen selbst von beidem. Eine eindeutige Empfehlung zur Datenkuratierung, also zu Deduplizierung oder zum Erhalt seltener Fakten, lässt sich aus dem Material nicht ableiten. Die Ziele laufen gegeneinander. Betroffen sind Teams, die LLMs in Materialwissenschaft oder Genomik einsetzen, sowie Verantwortliche für Pretraining- und Fine-Tuning-Datenmixe.