Referenzbasierte Hidden-State-Audits messen Bias-Verschiebungen in LLMs

Referenzbasierte Hidden-State-Audits messen Bias-Verschiebungen

Ein neues Verfahren zur Bias-Erkennung in Sprachmodellen setzt auf referenzbasierte Hidden-State-Audits. Es misst den Representational Bias Shift ΔB über relative Repräsentationen. Da Feintuning die Geometrie der Repräsentationen verändert, sind absolute Hidden States nicht direkt vergleichbar. Stattdessen wird jeder Satz durch seine Ähnlichkeiten zu einem festen Satz von Ankersätzen kodiert, wodurch relative Repräsentationen in einem gemeinsamen Vergleichsraum entstehen. Dort wird gemessen, wie sich Zielgruppen in ihrer Assoziation mit positiven und negativen Attributen verschieben – diese Größe heißt ΔB. Bisherige Methoden stützen sich meist auf Modellausgaben, was teure Benchmarks oder Judge-Modelle erfordert und interne Verschiebungen übersehen kann, die nie im generierten Text erscheinen. Das neue Verfahren zielt darauf ab, Bias-Audits mit minimalem Rechenaufwand durchzuführen, ohne umfangreiche Benchmarks. Getestet wurde es auf drei Modellfamilien sowie den Benchmarks WildGuardMix, DecodingTrust und ToxiGen. Die referenzbasierte Kodierung über Ankersätze ermöglicht es, Repräsentationsverschiebungen direkt in einem gemeinsamen Vergleichsraum zu quantifizieren, ohne dass für jede Modellvariante separate, aufwendige Evaluierungen nötig sind. Dadurch lassen sich interne Bias-Veränderungen frühzeitig erkennen, noch bevor sie sich in generierten Texten manifestieren. Die Verwendung eines festen Ankersatzes stellt sicher, dass alle Modellvarianten im selben Koordinatensystem verglichen werden, was die Messung von Verschiebungen überhaupt erst ermöglicht. Dieser Ansatz reduziert den Bedarf an teuren Inferenzläufen und externen Bewertungsmodellen erheblich. Die Evaluation über drei Modellfamilien und die genannten Benchmarks deckt unterschiedliche Aspekte von Bias und Toxizität ab und zeigt, dass das Verfahren breit einsetzbar ist.

Korrelation mit Output-Bias und Erkennung kritischer Checkpoints

In Tests korreliert ΔB mit output-level bias change in 15 von 18 getesteten Settings. Unter full fine-tuning erreicht die Korrelation |r| = 0.84 (p < 0.001), unter parameter-effizienter Anpassung wird sie modellabhängiger. Durch Thresholding von ΔB lassen sich Checkpoints erkennen, deren Bias zugenommen hat: Ein Schwellenwert auf ΔB erlaubt die binäre Klassifikation, wobei die ROC AUC je nach Setting zwischen 0.65 und 0.99 liegt. Auf den Benchmarks WildGuardMix und DecodingTrust trennt das Verfahren diese Checkpoints besser als eine SEAT-basierte Baseline. Die Ergebnisse deuten darauf hin, dass interne Repräsentationsverschiebungen als Indikator für Bias-Veränderungen dienen können, ohne dass große Mengen an Text generiert und bewertet werden müssen. Die starke Korrelation unter full fine-tuning belegt, dass ΔB die tatsächliche Veränderung des Output-Bias zuverlässig widerspiegelt, während die Abweichungen bei parameter-effizienter Anpassung auf modellspezifische Repräsentationsdynamiken hindeuten. Der breite ROC-AUC-Bereich von 0.65 bis 0.99 zeigt, dass die Erkennungsleistung je nach Setting variiert, aber in vielen Fällen eine hohe Trennschärfe erreicht wird. Im Vergleich zu einer SEAT-basierten Baseline, die auf statischen Wort-Embedding-Assoziationen beruht, erfasst die referenzbasierte Methode offenbar subtilere Verschiebungen in den Hidden States, die für den Output-Bias relevant sind. Dies unterstreicht den praktischen Nutzen des Verfahrens für das Monitoring von Modell-Checkpoints während des Feintunings, da kritische Bias-Zunahmen frühzeitig und ohne aufwendige Textgenerierung identifiziert werden können. Die Tatsache, dass die Korrelation in 15 von 18 Settings signifikant ist, unterstreicht die Robustheit des Zusammenhangs über verschiedene Modellfamilien und Benchmarks hinweg. Lediglich in drei Settings war die Korrelation nicht signifikant, was auf besondere Bedingungen in diesen Konfigurationen hindeuten könnte.