ENTLORE: Neues Benchmark-Framework für latentes organisatorisches Reasoning in Enterprise-QA

ENTLORE: Neues Benchmark-Framework für Enterprise-QA

ENTLORE ist ein neues Benchmark-Framework, das Enterprise-Question-Answering evaluiert. Es verlangt von den getesteten Systemen, implizite organisatorische Beziehungen über Routine-Dokumente hinweg wiederherzustellen. Die Aufgaben des Frameworks sind so gestaltet, dass die erforderlichen organisatorischen Beziehungen – etwa zwischen Abteilungen, Personen oder Prozessen – nicht direkt ausgeschrieben sind, sondern aus dem Kontext erschlossen werden müssen. Damit adressiert ENTLORE die Fähigkeit von Systemen, latente Strukturen in Unternehmensdaten zu rekonstruieren. Das Framework nutzt einen graphbasierten Ansatz: Organisatorische Beziehungen werden als Kanten in einem Graphen modelliert, und die Testumgebung verlangt, dass Systeme fehlende Kanten aus verteilten Dokumenten erschließen. Dadurch rückt die logische Verknüpfung verteilter Informationen in den Mittelpunkt.

Latente Reasoning-Fragen bleiben selbst mit Goldquellen offen

Das zentrale Ergebnis des Benchmarks: Selbst wenn den Systemen die relevanten Dokumente als Goldquellen zur Verfügung gestellt werden, bleibt ein erheblicher Teil der latenten Reasoning-Fragen unbeantwortet. Das bedeutet, dass die Bereitstellung der richtigen Quellen allein nicht ausreicht, um diese Fragen zu beantworten. Die Ursache liegt darin, dass die benötigten Beziehungen nicht explizit in den Dokumenten stehen, sondern über mehrere heterogene Dokumente hinweg implizit verteilt sind. Selbst wenn die Goldquellen vorliegen, muss das System diese impliziten Verknüpfungen erst erkennen und logisch kombinieren – eine Fähigkeit, die über reines Textverständnis hinausgeht und bei vielen Modellen begrenzt ist. ENTLORE zeigt damit, dass die Herausforderung nicht primär im Auffinden der Dokumente liegt, sondern in der Verarbeitung der darin enthaltenen impliziten Informationen. Die verbleibende Lücke betrifft die Fähigkeit, verteilte und implizite organisatorische Beziehungen logisch zu verknüpfen. Dieses Ergebnis unterstreicht, dass die Wiederherstellung solcher Beziehungen eine eigenständige Anforderung darstellt, die über das reine Retrieval hinausgeht.

Routine-Dokumente als Arbeitsnebenprodukte mit impliziten Organisationsbeziehungen

Enterprise-Question-Answering wird als Aufgabe verstanden, interne Dokumente abzurufen und darauf gestützte Antworten zu generieren. Die dafür genutzten Routine-Unternehmensaufzeichnungen – etwa E-Mails, Berichte oder Protokolle – sind Arbeitsnebenprodukte: Sie entstehen im laufenden Betrieb, ohne dass die für viele Fragen erforderlichen organisatorischen Beziehungen explizit ausgewiesen werden. Diese Beziehungen, etwa Zuständigkeiten, Hierarchien oder Prozesszusammenhänge, bleiben in den Dokumenten implizit und müssen vom System aus dem Kontext rekonstruiert werden. Genau diese Rekonstruktion stellt ENTLORE in den Mittelpunkt seiner Evaluation.