Cite Pretrain: Sprachmodelle sollen Quellen aus dem Pretraining ohne Retriever angeben

Modelle sollen Pretraining-Quellen ohne Retriever nennen

Das Paper „Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models“ prüft, ob Sprachmodelle Dokumente aus dem (Continual-)Pretraining zuverlässig zitieren können. Zur Testzeit befragen sie dabei keinen Retriever. Stattdessen greifen die Autoren in den Trainingsprozess ein. Als Autoren nennt alphasignal.ai Yukun Huang, Sanxing Chen, Jian Pei, Manzil Zaheer und Bhuwan Dhingra. Die arXiv-Kennung lautet 2506.17585.

Die erste Fassung (v1) datiert vom 21. Juni 2025. Die Meldung ist also eine spätere Sichtung, keine Neuveröffentlichung. Welche Änderungen es in späteren Versionen gibt, lässt sich dem vorliegenden Material nicht entnehmen.

Der Anlass ist bekannt. Zitate eigenständiger Sprachmodelle sind wegen Halluzinationen oft unzuverlässig, deshalb hängen aktuelle Systeme Zitate über einen externen Retriever an. Nach Darstellung der Autoren kostet das Latenz, macht die Infrastruktur zur Abhängigkeit und reagiert empfindlich auf Rauschen im Retrieval.

Zwei Stufen: Dokument-IDs im Pretraining, Zitieren per Instruction Tuning

Das Verfahren läuft in zwei Stufen. Zunächst bindet Continual Pretraining Fakten an persistente Dokument-Identifikatoren, sodass das Modell lernen soll, welcher Fakt aus welchem Dokument stammt. Danach ruft Instruction Tuning das Zitierverhalten ab. Beim Antworten soll das Modell die zuvor verknüpften Kennungen angeben.

Für die erste Stufe führen die Autoren „Active Indexing“ ein. Das Verfahren ergänzt das Training um synthetische Daten. Sie formulieren jeden Fakt in vielen Varianten neu, auch in kompositionellen Formen. Außerdem erzwingt es bidirektionales Training: Quelle zu Fakt und Fakt zu Quelle. So soll das Modell Inhalte aus einer genannten Quelle erzeugen können und eigene Antworten einer Quelle zuordnen. Laut Abstract verbessert das die Robustheit gegenüber Umformulierungen und Kombinationen.

CitePretrainBench mischt Wikipedia, Common Crawl und arXiv mit ungesehenen Dokumenten

Zur Prüfung stellen die Autoren den Benchmark CitePretrainBench vor. Er kombiniert reale Korpora, nämlich Wikipedia, Common Crawl und arXiv, mit neuen, ungesehenen Dokumenten. Getestet werden Kurzform-Aufgaben, bei denen ein einzelner Fakt zu zitieren ist, sowie Langform-Aufgaben mit mehreren Fakten.

Laut alphasignal.ai übertrifft Active Indexing die Baseline des Passive Indexing um bis zu 30,2 % bei der Zitierpräzision auf Qwen-2.5-7B und 3B. Diese Angabe stammt aus der Zusammenfassung („citation precision“). Den Volltext des Papers hat die Redaktion nicht geprüft.

Zitate nur für indexierte Quellen, Retrieval bleibt nützlich

Laut alphasignal.ai beschränken sich die Zitate auf Quellen, die im Training indexiert wurden. Jede erzeugte Kennung muss außerdem über einen gepflegten Dokumentkatalog auflösbar sein. Interne Zitate und externes Retrieval ergänzen sich demnach. Bei verrauschtem Retrieval gewinnen die internen Zitate an Wert, und hybride Pipelines werden besser.

Anbieter von Wissensanwendungen könnten so Aufwand beim Retrieval sparen. Bei neuen Quellen, die im Training nicht indexiert wurden, wäre der Nutzen begrenzt. Verlage und Urheber wären als indexierte Quellen betroffen.