Reasoning-Operationen in LLMs sind geometrisch separierbar

Reasoning-Operationen hinterlassen separierbare Spuren in Hidden Representations

Eine neue Studie untersucht, ob unterschiedliche Reasoning-Operationen in Sprachmodellen eine entsprechende geometrische Struktur in den Hidden Representations aufweisen. Als Beispiele nennen die Autor:innen Problemformulierung, Zielzerlegung und Deduktion. Die Arbeit ist als Abstract auf Hugging Face veröffentlicht. Die zentrale Frage lautet: Spiegeln sich die in Texten explizit unterschiedenen Denkschritte auch in der Geometrie des Repräsentationsraums wider? Um dies zu prüfen, analysieren die Forschenden die Hidden States während der Chain-of-Thought-Generierung und testen, ob sich die Operationen in held-out Representations separieren lassen. Das bedeutet, dass die Unterscheidbarkeit an zuvor nicht gesehenen Beispielen gemessen wird – ein entscheidendes Kriterium, um reine Memorierung auszuschließen und eine generalisierte geometrische Organisation nachzuweisen. Die Studie berichtet, dass die Operationen in diesen held-out Representations klar getrennt sind. Die Separierbarkeit wird dabei über die Klassifikationsgenauigkeit auf ungesehenen Repräsentationen quantifiziert, was belegt, dass die Operationen nicht nur memoriert, sondern geometrisch getrennt sind. Dies liefert eine mechanistische Interpretation der Chain-of-Thought-Verarbeitung: Sprachlich unterschiedene Reasoning-Ausdrücke finden eine Entsprechung in der Struktur der verborgenen Schichten. Die Autor:innen schließen daraus, dass die internen Vektorräume der Modelle für verschiedene Denkschritte unterscheidbare Bereiche ausbilden – ein Beleg für eine repräsentationale Korrespondenz zwischen linguistischen Reasoning-Ausdrücken und internen geometrischen Strukturen.

Maximale Separierbarkeit in mittleren Schichten und Kontextabhängigkeit

Die Separierbarkeit ist den Ergebnissen zufolge in mittleren Schichten am stärksten ausgeprägt, wie ein Vergleich über alle Schichten zeigt. Dies lässt sich dadurch erklären, dass in den mittleren Schichten die Repräsentationen bereits von reinen Token-Features abstrahieren, aber noch nicht vollständig für die Token-Generierung optimiert sind, wodurch die operations-spezifische Struktur besonders stark ausgeprägt ist. Um auszuschließen, dass die beobachtete Struktur lediglich auf Oberflächenmerkmale zurückgeht, haben die Autor:innen geprüft, ob lexikalische oder positionale Störfaktoren die Separierbarkeit erklären könnten, und verneinen dies. Diese Kontrollen belegen, dass die geometrische Trennung tatsächlich mit den Reasoning-Operationen selbst zusammenhängt. Darüber hinaus zeigt die Studie, dass sich die tokenweise Ausrichtung auf eine Operation über die Schichten hinweg zunehmend über längere Textspannen verteilt und identische Oberflächentokens je nach Operation des umgebenden Chunks unterschiedlich repräsentiert werden. Die Autor:innen führen Span-Probing-Experimente durch, bei denen sie die Ausrichtung über Token-Spannen messen, und führen die zunehmende Verteilung auf die schichtweise Integration von Kontextinformationen zurück. Attention-Masking-Interventionen, bei denen die Autor:innen gezielt die Attention-Scores zu Tokens des vorherigen Chunks auf null setzen und anschließend die Veränderung der Separierbarkeits-Metrik messen, belegen zudem, dass die operations-ausgerichteten Repräsentationen am Anfang eines Chunks vom vorhergehenden Reasoning-Kontext abhängen. Das bedeutet: Die geometrische Struktur ist nicht statisch, sondern wird durch den bisherigen Denkverlauf kausal mitgeprägt.