KI SpotlightNewsRayRoPE: Strahlenbasierte Positionskodierung für Multi-View-Attention
Neue Methode kombiniert Projektionsstrahlen mit vorhergesagten Punkten, um SE(3)-invariante und geometrieadaptive Aufmerksamkeit zu ermöglichen.
Mit KI erstelltRayRoPE: Strahlen statt Richtungen für Multi-View-Attention
RayRoPE ist eine neuartige Positionskodierung für Multi-View-Transformers, die Bild-Patches aus mehreren kalibrierten Kameraansichten verarbeiten. Statt absoluter Koordinaten oder relativer Richtungsvektoren nutzt die Methode die zu jedem Patch gehörigen Projektionsstrahlen. Für die Aufmerksamkeitsberechnung wird jedoch nicht die Strahlrichtung selbst verwendet, sondern ein entlang des Strahls vorhergesagter Punkt. Dieser Punkt wird vom Modell gelernt und bewegt sich bei starren 3D-Transformationen (SE(3)) mit der Szene mit, wodurch die Aufmerksamkeit invariant gegenüber Rotation und Translation wird. Gleichzeitig kann der vorhergesagte Punkt die lokale Szenengeometrie abbilden, da er entlang des Strahls frei positionierbar ist. So entsteht eine eindeutige Patch-Repräsentation, die eine geometriebewusste und mehrfrequente Ähnlichkeitsbestimmung zwischen Patches erlaubt – zentrale Anforderungen für die Multi-View-Attention.
Lückenschluss bei Invarianz und Geometrieadaptivität
Bisherige Kodierungsschemata für Multi-View-Attention – seien sie absolut oder relativ – erfüllten laut der Studie nicht gleichzeitig drei wesentliche Anforderungen: eine eindeutige Patch-Kodierung, SE(3)-invariante Aufmerksamkeit mit Multi-Frequenz-Ähnlichkeit sowie Adaptivität an die zugrundeliegende Szenengeometrie. RayRoPE schließt diese Lücke durch die Kombination aus strahlenbasierter Repräsentation und der Vorhersage eines Punktes entlang des Strahls. Die Strahlenzuordnung stellt sicher, dass jeder Patch eindeutig kodiert wird. Der vorhergesagte Punkt hingegen verleiht der Aufmerksamkeit SE(3)-Invarianz, da er sich bei Szenentransformationen starr mitbewegt, und ermöglicht gleichzeitig eine geometrieadaptive Ähnlichkeitsfunktion: Das Modell kann den Punkt so platzieren, dass er die lokale 3D-Struktur erfasst und eine mehrfrequente Ähnlichkeitsbewertung unterstützt. Damit vereint RayRoPE die Vorteile beider Welten, ohne die Nachteile der früheren Ansätze zu übernehmen.
