SpatialBlock-15k: Synthetische Block-Stapel-Aufgaben trainieren räumliche Intelligenz in LVLMs

SpatialBlock-15k: 15.000 Block-Stapel-Aufgaben für räumliche Intelligenz

Large Vision-Language Models (LVLMs) haben bei vielen visuellen Aufgaben starke Leistungen gezeigt, doch ihre Fähigkeit, die 3D-Struktur einer in 2D-Bildern dargestellten Szene zu rekonstruieren und darüber nachzudenken – die sogenannte räumliche Intelligenz – bleibt begrenzt. Bisherige Ansätze setzen auf reale räumliche Frage-Antwort-Datensätze, die dichte geometrische Annotationen erfordern. Deren Erstellung ist jedoch kostspielig, zeitaufwendig und oft fehleranfällig, da sie auf externe Wahrnehmungsmodule angewiesen sind. Ein neuer Ansatz namens SpatialBlock umgeht dieses Problem: Er führt den synthetischen Datensatz SpatialBlock-15k ein, der 15.000 Block-Stapel-Aufgaben umfasst. Die Aufgaben decken drei Typen ab: 3D-zu-2D-Projektion, Blickwinkeltransformation und strukturelle Kombination. Zusätzlich enthält der Datensatz eine kontrollierte Farbmodulation als visuelle Hinweise. Durch die gezielte Farbvariation werden bestimmte Blöcke oder Kanten als markante Ankerpunkte hervorgehoben, an denen sich das Modell bei der räumlichen Zuordnung orientieren kann – ähnlich wie farbige Markierungen in technischen Zeichnungen die Aufmerksamkeit auf Referenzpunkte lenken. So wird das ankerbasierte Denken unter visuell komplexen Bedingungen unterstützt. Damit werden grundlegende räumliche Fähigkeiten durch strukturierte Block-Manipulationsaufgaben trainiert, statt auf teure reale Datensätze zurückzugreifen.

Training mit SpatialBlock übertrifft Basislinien und generalisiert auf reale Aufgaben

Der Ansatz ist von der menschlichen kognitiven Entwicklung inspiriert: So wie Kinder räumliche Grundfähigkeiten durch das Manipulieren von Blöcken erlernen, sollen LVLMs durch strukturierte Block-Stapel-Aufgaben fundamentale räumliche Kompetenzen aufbauen. Die drei Aufgabentypen decken komplementäre Aspekte räumlicher Intelligenz ab – Projektion, Perspektivwechsel und strukturelle Kombination – und fördern so ein breites räumliches Verständnis. Die kontrollierte Farbmodulation liefert visuelle Ankerpunkte, an denen sich das Modell orientieren kann, um räumliche Beziehungen auch unter visuell komplexen Bedingungen korrekt zu erfassen. Dadurch lernen die Modelle, gezielt auf markante Referenzpunkte zu achten, statt nur oberflächliche Bildmerkmale zu nutzen – eine Fähigkeit, die sich auf reale Szenen übertragen lässt. In den Experimenten erzielten die mit SpatialBlock trainierten LVLMs – entweder durch direktes Antworten oder durch begründungsbasierte Vorhersage – durchweg höhere Erfolgsquoten als die Basislinien; die Unterschiede waren statistisch signifikant. Zudem generalisierten sie auf reale räumliche Aufgaben, obwohl der Datensatz synthetisch und kompakt ist. Das deutet darauf hin, dass die erlernten Fähigkeiten nicht auf die spezifischen Block-Aufgaben beschränkt bleiben, sondern auf allgemeinere räumliche Verständnisleistungen übertragbar sind.

Code und Daten auf GitHub verfügbar

Code und Daten des SpatialBlock-Projekts sind öffentlich unter https://github.com/rsoohyun/SpatialBlock verfügbar. Interessierte können den Datensatz herunterladen und die Trainingspipeline nachvollziehen. Auf kispotlight.de finden sich zudem Beiträge zu verwandten Themen wie AgentGrad und Load-Balancing bei LLM-Inference.