CORE: Reranker-Urteile verbessern kompositorisches Retrieval in Embedding-Modellen

CORE: Destillation von Reranker-Urteilen in Embedding-Modelle

Ein neues Verfahren namens CORE adressiert eine bekannte Schwäche multimodaler Sprachmodelle (MLLMs) im kompositorischen Retrieval. MLLM-basierte Embedding-Modelle scheitern häufig daran, Szenen zu unterscheiden, die dieselben Konzepte enthalten, aber unterschiedliche Attribut-Objekt-Bindungen aufweisen. Derselbe Modell-Backbone kann diese Unterscheidungen jedoch auflösen, wenn er als Cross-Attentive Reranker eingesetzt wird. CORE nutzt diese Beobachtung: Es destilliert die kompositorischen Ranking-Urteile eines solchen Rerankers in ein Embedding-Modell. Konkret synthetisiert CORE Kandidatenlisten über fünf kompositorische Matching-Stufen und trainiert das Embedding-Modell mit einem Rank-KL-Ziel darauf, die feingranulare Rangfolge des Rerankers zu reproduzieren. Ziel ist es, die kompositorische Retrieval-Leistung zu verbessern, ohne die Standardleistung des Embedding-Modells zu beeinträchtigen. Das Verfahren wurde in einem Fachbeitrag vorgestellt, der die Methode und Evaluierung beschreibt.

Technischer Ansatz: Synthetisierte Kandidatenlisten und Rank-KL

Technisch setzt CORE auf synthetisierte Kandidatenlisten, die fünf kompositorische Matching-Stufen abdecken. Diese Stufen repräsentieren unterschiedliche Grade der kompositorischen Übereinstimmung zwischen Anfrage und Kandidat – von vollständiger Übereinstimmung bis hin zu Szenen, die dieselben Konzepte enthalten, aber unterschiedliche Attribut-Objekt-Bindungen aufweisen. Das Rank-KL-Ziel ist ein listweises Trainingsziel: Es berechnet eine Zielverteilung aus der Rangfolge des Rerankers über die Kandidatenliste und minimiert die Kullback-Leibler-Divergenz zwischen dieser Zielverteilung und der vom Embedding-Modell vorhergesagten Verteilung. Dadurch wird das Embedding-Modell trainiert, die feingranulare Rangfolge des Rerankers zu reproduzieren. Die Autoren vergleichen unter gleichen Daten- und Tuning-Bedingungen drei Trainingsziele: kontrastives Lernen, paarweises CoSENT und listweises Rank-KL. Der Vergleich zeigt, dass CoSENT und Rank-KL die mehrstufige Supervision effektiver nutzen als kontrastives Lernen. Rank-KL erzielt dabei die stärkste Gesamtleistung.

Evaluierung: Benchmarks und Leistungszahlen

Für die Evaluierung führen die Autoren ein abgestuftes Evaluierungsprotokoll ein, das die Modellfähigkeiten über verschiedene Schwierigkeitsgrade der kompositorischen Übereinstimmung hinweg differenziert bewertet. Auf drei Benchmarks für kompositorisches Denken – COLA, SUGARCREPE++ und NEGBENCH – erreicht das Reranker-Modell CORE-RERANKER-8B einen Gesamtdurchschnitt von 82,7 Prozent und übertrifft damit den Jina-Reranker um 10,7 Prozentpunkte. Das Embedding-Modell CORE-EMBED-8B erzielt mit einem Gesamtdurchschnitt von 0,666 den besten Wert unter allen evaluierten Embedding-Modellen. Diese überlegenen Ergebnisse lassen sich auf die methodischen Kernelemente zurückführen: Das Rank-KL-Ziel trainiert das Embedding-Modell, die feingranulare Rangfolge des Rerankers über die fünf synthetisierten Matching-Stufen nachzuahmen. Das abgestufte Evaluierungsprotokoll differenziert die Modellfähigkeiten über verschiedene Schwierigkeitsgrade der kompositorischen Übereinstimmung.