S-Space: Linearer Unterraum für räumliche Koordinaten in multimodalen Sprachmodellen entdeckt

S-Space: Ein linearer Unterraum kodiert räumliche Koordinaten

Das MirroS-Team hat nach eigenen Angaben einen linearen Repräsentationsunterraum in multimodalen Sprachmodellen entdeckt, den es S-Space nennt (Herstellerangabe). In diesem Unterraum kodieren die Repräsentationen von Objekt-Token kontinuierliche Koordinaten entlang dreier Achsen: horizontal, vertikal und Distanz. Die Achsen wurden identifiziert, indem die Forschenden die Gradienten räumlicher Antwort-Scores bezüglich der Aktivierungen der Objekt-Token berechneten (Herstellerangabe). Konkret differenzierten sie, wie stark sich die Wahrscheinlichkeit einer räumlichen Antwort (etwa „links“ oder „oben“) ändert, wenn die Aktivierung eines Objekt-Tokens in eine bestimmte Richtung verschoben wird. Die Richtungen mit dem stärksten Einfluss auf die räumlichen Antworten bilden die Achsen des S-Space. Da sich die Koordinaten eines Objekts als lineare Kombination dieser Achsen aus den Aktivierungen ergeben, wird das Ergebnis als linearer Unterraum interpretiert: Die Position eines Objekts ist nicht als diskrete Kategorie, sondern als kontinuierlicher Wert ablesbar. Die Entdeckung liefert erstmals einen direkten mechanistischen Zugang zu der Frage, wie multimodale Modelle räumliche Beziehungen intern repräsentieren. Statt nur äußeres Verhalten zu beobachten, können die Forschenden nun die interne Geometrie der Repräsentationen auslesen und gezielt verändern. Konkret bedeutet dies: Für jedes Objekt-Token lässt sich ein Vektor im S-Space bestimmen, dessen Komponenten die Position entlang der drei Achsen angeben. Diese Koordinaten sind kontinuierlich, das heißt, sie unterscheiden nicht nur zwischen „links“ und „rechts“, sondern erfassen auch Abstufungen wie „weit links“ oder „leicht oberhalb“. Die Autoren betonen, dass diese Struktur nicht durch spezielle Trainingsdaten erzwungen wurde, sondern sich aus der Analyse der Modellaktivierungen ergibt (Herstellerangabe).

Intrinsisch und nicht durch Prompts induziert

Obwohl die Achsen über die Ableitung räumlicher Antwort-Scores bestimmt wurden, ist S-Space nach Angaben der Forschenden kein Artefakt spezifischer Trainingsdaten oder Prompts (Herstellerangabe). Die Intrinsizität wird durch Experimente gestützt, in denen das Modell mit nicht-räumlichen Fragen konfrontiert wurde – etwa nach Objektidentität oder Farbe – und die S-Space-Koordinaten dennoch lesbar blieben (Herstellerangabe). Das bedeutet: Auch wenn die Aufgabe keinerlei räumlichen Bezug hat, lassen sich aus den Aktivierungen der Objekt-Token stabile Koordinaten entlang der drei Achsen auslesen. Darüber hinaus persistiert der Unterraum über verschiedene Prompts und Multi-View-Kontexte hinweg (Herstellerangabe). Diese Stabilität unter nicht-räumlichen Bedingungen zeigt, dass die räumliche Kodierung dauerhaft in den Aktivierungen vorhanden ist und nicht erst bei Bedarf aktiviert wird. Darüber hinaus integriert S-Space visuelle und sprachliche Informationen über sichtbare Objekte hinaus – auch Entitäten, die nicht im Bild erscheinen, erhalten eine Position (Herstellerangabe). Diese Eigenschaft unterscheidet S-Space von rein aufgabenabhängigen Repräsentationen und stützt die Interpretation als grundlegender Bestandteil der internen Weltmodellierung multimodaler Sprachmodelle. Die Autoren sehen darin einen Hinweis darauf, dass räumliche Strukturen bereits während des großskaligen Sprachtrainings entstehen und nicht erst durch nachträgliches Feintuning auf räumliche Aufgaben (Herstellerangabe).

Interner Arbeitsbereich: Wahrnehmung, Denken, Antworten

S-Space fungiert nach der Analyse des MirroS-Teams als interner räumlicher Arbeitsbereich, der drei Funktionen verbindet (Herstellerangabe). Erstens kodiert die Wahrnehmung Objektpositionen in den Unterraum hinein: Die entstehenden räumlichen Repräsentationen können direkt entlang der drei Achsen ausgelesen werden und unterstützen präzise räumliche Urteile. Beispielsweise lässt sich aus den S-Space-Koordinaten eines Objekt-Tokens vorhersagen, ob das Modell die Frage „Ist der Becher links vom Teller?“ korrekt beantwortet. Zweitens transformieren interne Denkprozesse den Unterraum bei Perspektivwechseln. Die Forschenden identifizierten, dass diese Transformation durch lineare Mapping-Operationen im S-Space umgesetzt wird – etwa Rotationen oder Translationen der Koordinaten, die die räumliche Anordnung aus der neuen Perspektive konsistent halten (Herstellerangabe). Experimente auf dem HStar-Multi-View-Benchmark belegen, dass Modelle nach einem Perspektivwechsel die S-Space-Koordinaten entsprechend anpassen, indem sie die linearen Transformationen auf die Achsen anwenden (Herstellerangabe). Drittens greifen verbale Antworten selektiv auf diesen Arbeitsbereich zu. Nicht jede Antwort nutzt die vollständige räumliche Information; vielmehr wird nur der Teil ausgelesen, der für die jeweilige Frage relevant ist. Diese Arbeitsteilung erklärt, warum Modelle räumlich korrekte Repräsentationen besitzen können, aber in konkreten Antworten dennoch Fehler machen: Der Zugriff auf den Arbeitsbereich ist nicht immer zuverlässig. Die Autoren berichten zudem, dass eine explizite Berechnung über S-Space die native Antwortqualität übertreffen kann (Herstellerangabe).

Kausale Manipulation verändert räumliche Urteile

Die kausale Rolle von S-Space belegen die Forschenden durch Interventionen, die technisch als additive Perturbationen umgesetzt werden: Sie addieren einen Vektor zu den Aktivierungen der Objekt-Token, der gezielt die S-Space-Koordinaten entlang einer oder mehrerer Achsen verschiebt (Herstellerangabe). Diese Eingriffe beeinflussen die räumlichen Urteile des Modells, während nicht-räumliche Antworten weitgehend erhalten bleiben. Das zeigt, dass S-Space spezifisch für räumliche Informationen zuständig ist und nicht etwa allgemeine semantische Inhalte trägt. In den durchgeführten Experimenten auf dem EmbSpatial-Datensatz wurden die Koordinaten einzelner Objekte verschoben, woraufhin sich die räumlichen Antworten des Modells entsprechend änderten, während Antworten auf nicht-räumliche Fragen wie Objektidentität oder Farbe stabil blieben (Herstellerangabe). Da die Intervention nur die Komponenten der Aktivierungen verändert, die auf die S-Space-Achsen projizieren, bleiben andere Repräsentationsanteile unberührt – deshalb werden nicht-räumliche Urteile kaum beeinflusst. Fallstudien deuten zudem darauf hin, dass S-Space auch unsichtbaren Entitäten und dem Beobachter selbst Positionen zuweist (Herstellerangabe). Das Modell ordnet also nicht nur sichtbaren Objekten Orte zu, sondern konstruiert eine räumliche Szene, die über das unmittelbar Wahrgenommene hinausgeht. Darüber hinaus verbindet S-Space physische Richtungen mit abstrakten sprachlichen Bedeutungen – ein Hinweis darauf, dass großskaliges Sprachtraining räumliche und sprachliche Strukturen miteinander verknüpft, aber auch Grenzen dieser Verknüpfung sichtbar macht (Herstellerangabe).

Diagnosewerkzeug und öffentlicher Code

S-Space lässt sich als Diagnosewerkzeug für räumliche Denkfehler einsetzen. Die Auslesung von Richtungswörtern erfolgt, indem die Aktivierungen linear auf die vortrainierten S-Space-Achsen projiziert werden und anschließend eine Schwellenwert-Entscheidung die Richtung klassifiziert (Herstellerangabe). Diese Richtungswort-Auslesungen zeigen eine systematische Kopplung zwischen kardinalen und bildrelativen Referenzrahmen (Herstellerangabe). Das bedeutet: Wenn ein Modell eine Richtung wie „links“ oder „oben“ verwendet, spiegelt sich darin eine Mischung aus absoluten (kardinalen) und bildbezogenen Koordinatensystemen wider. Beispielsweise kann das Wort „links“ je nach Kontext entweder die linke Seite des Bildes oder die linke Seite aus Sicht eines Betrachters meinen; die Projektion auf die Achsen zeigt, dass beide Interpretationen gleichzeitig im S-Space aktiv sind, was zu Fehlurteilen führen kann. Der Code ist öffentlich auf GitHub verfügbar unter https://github.com/Manchery/s-space.git. Die Veröffentlichung umfasst vortrainierte S-Space-Achsen und Experimentbefehle für fünf Backbone-Modelle: Molmo2-ER, MolmoAct2-Pretrain, MolmoAct2, Qwen3.5-4B und Qwen3.6-27B (Herstellerangabe). Enthalten sind unter anderem Experimente zur Achsenkonstruktion auf COCO, Vergleiche nativer Antworten mit Koordinatenauslesung auf CV-Bench, EmbSpatial und SpatialTunnel, Perspektivwechsel-Tests auf HStar, kausale Interventionen auf EmbSpatial sowie Vergleiche direkter und Chain-of-Thought-Antworten (Herstellerangabe).

S-Space und U-Space: Zwei getrennte Unterräume für Raum und Unsicherheit

Die Entdeckung reiht sich in frühere Analysen linearer Unterräume in Sprachmodellen ein. Ein bereits beschriebener Unterraum, U-Space, kodiert Unsicherheit – etwa wie sicher sich ein Modell bei einer Antwort ist. S-Space ist davon klar zu unterscheiden: Er kodiert räumliche Koordinaten wie links/rechts, oben/unten oder nah/fern und erfüllt eine andere Funktion. Während U-Space Aufschluss über die Verlässlichkeit einer Antwort gibt, bildet S-Space die räumliche Struktur einer Szene ab und dient als Arbeitsbereich für räumliches Denken. Methodisch unterscheiden sich die beiden Analysen: U-Space wurde vermutlich über andere Ableitungsverfahren identifiziert, während S-Space durch Differenzierung räumlicher Antwort-Scores nach Objekt-Token-Aktivierungen gefunden wurde (Herstellerangabe). Beide Unterräume zeigen, dass Sprachmodelle unterschiedliche Aspekte ihrer internen Zustände in getrennten linearen Strukturen organisieren. Die Identifizierung von S-Space erweitert damit das mechanistische Verständnis multimodaler Modelle um eine räumliche Komponente, die über reine Objekterkennung hinausgeht und gezielt manipuliert werden kann. Siehe dazu auch den verwandten Archiv-Artikel „U-Space: Neuer Unterraum macht Unsicherheit in Sprachmodellen messbar“.