Studie: Verteilungsgetriebene Steering-Vektoren bilden menschliche Wertgeometrie ab

Verteilungsgetriebene Steering-Vektoren bilden Schwartz-Wertgeometrie ab

Eine neue Studie untersucht, ob Aktivierungs-Steering-Vektoren in großen Sprachmodellen eine theorie-ausgerichtete menschliche Wertgeometrie kodieren. Die Studie zeigt, dass diese Vektoren eine kohärente, theorie-spezifizierte Struktur menschlicher Werte nach Schwartz' Theory of Basic Human Values enthalten – und nicht nur isolierte Verhaltensweisen abbilden. Als primäres feingranulares Framework dient dabei die Schwartz-Theorie, die eine spezifische Topologie menschlicher Werte vorgibt. Verteilungsgetriebene Methoden wie CAA, SphericalSteer und ODESteer rekonstruieren diese Geometrie mit einem Spearman-Rangkorrelationskoeffizienten von bis zu 0,51 (p < 10^{-13}). Das bedeutet, dass die Anordnung der Werte im Aktivierungsraum signifikant mit der theoretisch vorhergesagten Topologie übereinstimmt. Der p-Wert von unter 10^{-13} weist auf eine äußerst geringe Wahrscheinlichkeit hin, dass diese Übereinstimmung zufällig ist. Bisherige Arbeiten hatten Steering meist anhand einzelner Verhaltensweisen validiert, sodass unklar blieb, ob die Vektoren semantische Struktur oder nur verhaltensspezifische Abkürzungen kodieren. Die neue Studie schließt diese Lücke, indem sie die latente Geometrie direkt mit einem psychologischen Modell vergleicht. Dazu berechnen die Forschenden Spearman-Korrelationen zwischen den latenten Vektoren und den theoretischen Wertabständen, um die Übereinstimmung der Topologien quantitativ zu prüfen.

Größeneffekt und Instruction-Tuning beeinflussen Fidelity

Die Studie untersucht zudem, wie sich die geometrische Genauigkeit – die Fidelity – über verschiedene Modellgrößen und Trainingsvarianten verhält. Fidelity bezeichnet die Übereinstimmung der aus Steering-Vektoren rekonstruierten Wertgeometrie mit der theoretisch erwarteten Struktur nach Schwartz. Die Ergebnisse zeigen, dass die Fidelity mit der Modellgröße skaliert: Größere Modelle bilden die Wertgeometrie präziser ab. Nach einem Instruction-Tuning nimmt die Fidelity jedoch ab, was darauf hindeutet, dass die nachträgliche Anpassung an Anweisungen die theorie-ausgerichtete Struktur beeinträchtigt. Die Analyse umfasst verschiedene Modellfamilien und -größen, sodass der Größeneffekt nicht auf eine einzelne Architektur beschränkt ist. Der Größeneffekt deutet darauf hin, dass größere Modelle über eine reichhaltigere interne Repräsentation von Wertestrukturen verfügen, während Instruction-Tuning diese Repräsentation möglicherweise zugunsten aufgabenspezifischer Muster verschiebt.

Verhaltenszentrierte Methoden scheitern an Wertgeometrie

Im Gegensatz zu den verteilungsgetriebenen Methoden erreichen verhaltenszentrierte Ansätze wie COLD-Steer und BiPO zwar eine vergleichbare Steering-Leistung, zeigen aber kaum Korrelation mit der erwarteten Wertgeometrie. Das bedeutet, dass diese Methoden das Modellverhalten effektiv in die gewünschte Richtung lenken können, ohne dabei die zugrunde liegende theorie-spezifizierte Wertestruktur abzubilden. Diese Methoden zielen darauf ab, das Modellverhalten direkt zu beeinflussen, indem sie Vektoren aus Beispielen ableiten, die ein gewünschtes Verhalten zeigen. Dieser Fokus auf beobachtetes Verhalten statt auf latente Verteilungen führt dazu, dass die resultierenden Vektoren kaum mit der erwarteten Wertgeometrie korrelieren. Für die Analyse führten die Forschenden einen Benchmark mit 26K Stichproben ein, der 20 menschliche Werte abdeckt. Dieser Benchmark ermöglicht es, die geometrische Struktur der Steering-Vektoren systematisch mit der Schwartz-Theorie zu vergleichen. Der 26K-Sample-Benchmark deckt 20 menschliche Werte ab und erlaubt eine feingranulare Überprüfung der Wertgeometrie, die über grobe Verhaltenskategorien hinausgeht. Der Befund unterstreicht, dass eine hohe Steuerbarkeit nicht automatisch mit einer kohärenten Wertrepräsentation einhergeht. Verhaltenszentrierte Methoden optimieren offenbar auf isolierte Verhaltensziele, ohne die relationale Struktur der Werte zu erfassen.