RTAformer soll Video-Szenengraphen bei wechselnden Relationen verbessern

RTAformer trennt dauerhafte Entitäten von wechselnden Relationen

Jaeyeon Heo, Geuntaek Lim und Yukyung Choi stellen RTAformer vor, einen einstufigen Transformer zur Erzeugung von Szenengraphen in Videos (VidSGG). Das Paper trägt den Titel „RTAformer: Relation-Transition-Aware Transformer for Video Scene Graph Generation“ und ist unter der arXiv-Nummer 2610.20091 erschienen. Laut Repository wurde es im Oktober 2026 auf arXiv veröffentlicht.

Die Autoren beschreiben einen Fehlermodus, den sie „relationale semantische Trägheit“ nennen. Ein Modell hält an seiner früheren Prädikatvorhersage fest, obwohl sich die Relation zwischen zwei Objekten inzwischen geändert hat. Als Ursache nennt das Paper die Betonung temporaler Konsistenz. Bestehende Verfahren fassen Informationen über mehrere Frames zusammen, um zeitlichen Kontext zu nutzen. Diese Glättung kann aber gerade die abrupten Änderungen überdecken.

RTAformer modelliert deshalb Entitätspersistenz und Relationswechsel getrennt. Objekte sollen über Frames hinweg identifizierbar bleiben, ohne dass ihre Beziehungen mitgeführt werden.

Laut dem Autoren-README wurde das Paper am 20.09.2026 bei der ACCV 2026 angenommen. Diese Angabe stammt allein aus diesem README. Eine unabhängige Bestätigung liegt im Material nicht vor.

Kalibrierte Query-Differenzen und Instanzabgleich als Mechanismus

Der Ansatz besteht aus zwei Bausteinen. Der erste injiziert kalibrierte Differenzen zwischen den Relations-Queries benachbarter Frames. Sie sollen die Prädikat-Updates steuern und das Modell genau dort umschalten lassen, wo sich zwischen zwei Frames tatsächlich etwas ändert. Der zweite ist ein Cross-Frame-Instanzabgleich (Instance-Pair-Alignment). Er findet ausschließlich im Training statt und soll die Drift der Repräsentationen über Frames verringern.

Auf dem Datensatz Action Genome berichten die Autoren Verbesserungen bei Recall und Mean Recall gegenüber bestehenden Methoden. Ablationsstudien stützen nach ihren Angaben die Beiträge der einzelnen Komponenten. Bei Vergleichen mit gleichen Backbones fallen die Gewinne auf Frames mit Relationswechsel größer aus als auf Frames ohne Wechsel.

Konkrete Zahlen enthält das vorliegende Material nicht. Die Ergebnisse lassen sich daher weder beziffern noch gegen STTran, TRACE oder DSG-DETR einordnen. Es handelt sich um Autorenangaben, die unabhängig nicht überprüft sind.

Im Ton unterscheiden sich die Quellen. Die Hugging-Face-Zusammenfassung schreibt, RTAformer „überwinde“ („overcome“) die relationale semantische Trägheit. Das Paper selbst formuliert vorsichtiger: Der Abgleich „helps reduce“ die Drift der Repräsentationen.

Zur Einordnung: DSG-DETR setzt nach Angaben seiner Autoren auf Langzeitkonsistenz über objektbezogene Tracklets. RTAformer setzt dagegen auf den Relationswechsel. Die beiden Ansätze haben damit unterschiedliche Schwerpunkte.

Code laut arXiv verfügbar, im Repository noch „Coming Soon“

Die Quellen widersprechen sich bei der Code-Verfügbarkeit. Die arXiv-Fassung nennt github.com/sejong-rcv/RTAformer als Fundort des Codes. Das README desselben Repositorys führt Code und trainierte Checkpoints dagegen als „Coming Soon“. Sie würden noch organisiert und später veröffentlicht.

Naheliegend ist eine zeitliche Erklärung: Die arXiv-Fassung verweist auf ein Repository, das zum Zeitpunkt der Sichtung noch keinen Code enthielt. Das Material lässt das nicht abschließend klären. Wer das Repository aufruft, sieht den aktuellen Stand.

Für die Überprüfung der Ergebnisse ist das relevant. Eine unabhängige Reproduktion setzt freigegebenen Code und Checkpoints voraus. Bis dahin bleiben die berichteten Verbesserungen Angaben der Autoren.

Forschende, die auf Action Genome vergleichen, dürfte außerdem die Auswertung nach Relationswechsel-Frames interessieren. Sie zeigt, ob ein Modell Änderungen tatsächlich nachvollzieht oder nur Konsistenz glättet.