RAG-LLM-Framework rekonstruiert Named Entities in historischen Texten

RAG-LLM-Framework rekonstruiert Named Entities in historischen Texten

Historische Dokumente sind wertvolle Wissensarchive, doch physischer Verfall und Beschädigungen machen viele Textstellen unleserlich. Besonders kritisch: Eigennamen, Orte oder andere Named Entities lassen sich oft nicht mehr entziffern. Bisherige computergestützte Restaurierungsmethoden setzen auf Masked Language Modeling (MLM), das fehlende Wörter aus dem lokalen Textkontext rekonstruiert. Diese Verfahren scheitern jedoch systematisch bei Named Entities, weil deren korrekte Wiederherstellung häufig Wissen erfordert, das über den unmittelbaren Satz- oder Absatzkontext hinausgeht – etwa historische Fakten, Personenregister oder geografische Daten. So kann ein beschädigter Name wie „Johann Sebastian [MASK]“ nur dann zu „Bach“ ergänzt werden, wenn der umgebende Text musikalische Bezüge enthält – in einer schlichten Namensliste versagt der Mechanismus.

Ein neuartiges Framework, das Large Language Models (LLMs) mit Retrieval-Augmented Generation (RAG) kombiniert, soll diese Lücke schließen. Die Innovation liegt in der gezielten Einbindung externen Wissens: Statt sich nur auf den umgebenden Text zu stützen, wandelt das System den lesbaren Kontext in eine Vektorrepräsentation um und durchsucht eine Wissensdatenbank nach relevanten Passagen. Diese abgerufenen Wissensschnipsel werden dem LLM als zusätzlicher Kontext bereitgestellt, sodass es unleserliche Named Entities rekonstruieren kann. Die Autoren beschreiben das Framework als einen neuartigen Ansatz, der RAG-LLMs speziell für die Restaurierung historischer Dokumente einsetzt und damit die Beschränkungen rein lokaler MLM-Ansätze adressiert.

Externes Wissen überwindet Grenzen lokaler Kontextverfahren

Masked-Language-Modeling-Ansätze, die in der Textrestaurierung bislang dominieren, stoßen bei Eigennamen an ihre Grenzen, weil sie fehlende Wörter ausschließlich aus dem umgebenden Satz oder Absatz erschließen können. Named Entities wie Personen, Orte oder Organisationen lassen sich jedoch oft nicht aus dem lokalen Kontext ableiten – sie erfordern externes Wissen über historische Zusammenhänge. Das neue Framework umgeht diese Beschränkung durch einen zweistufigen Retrieval-Augmented-Generation-Mechanismus: Zunächst wird anhand des lesbaren Kontexts der beschädigten Stelle eine externe Wissensquelle – etwa eine Vektordatenbank mit historischen Texten – nach relevanten Passagen durchsucht. Dabei wird der lesbare Kontext in eine Vektorrepräsentation umgewandelt und in der Datenbank nach ähnlichen Einträgen gesucht. Die abgerufenen Passagen werden als zusätzlicher Kontext in den Prompt des LLM eingebettet, sodass das Modell die maskierte Entität unter Einbeziehung des externen Wissens generieren kann. So kann das System beispielsweise einen unleserlichen Ortsnamen in einer mittelalterlichen Handschrift rekonstruieren, indem es Einträge aus historischen Ortsverzeichnissen oder Chroniken abruft, die im Dokument selbst nicht erwähnt werden. Die Kombination aus Abruf und Generierung zielt darauf ab, die Restaurierung von Named Entities zu ermöglichen, ohne dass das Modell auf den lokalen Kontext beschränkt bleibt.