TCP4D verfolgt und prognostiziert Greiferbewegungen mit einem gemeinsamen Modell
Das Modell von Peng, Liu, Zhang, Fan et al. gewinnt TCP-Posen aus Monokular-Video und sagt künftige Bewegungen voraus. Code und drei Checkpoints sind öffentlich, die kommerzielle Nutzung ist an Bedingungen geknüpft.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Der Tracker liefert metrische TCP-Posen in SE(3), Greiferzustände, Szenengeometrie und Kameraparameter.
- Der Generator sagt zukünftige TCP-Zustände voraus, gestützt auf 4D-Features, Beobachtungen und Sprachanweisungen.
- Die Cross-Embodiment-Augmentierung wandelt RGB-Videos per Retargeting in Demonstrationen für andere Embodiments um.
- Der Tracker erreicht absolute Trajektorienfehler von 7,60 mm (DROID) und 16,07 mm (RoboLab).
- Der Generator erreicht 69,19 % mittlere Erfolgsrate auf RoboTwin.
TCP4D verfolgt und prognostiziert Greiferbewegungen auf einer gemeinsamen 4D-Repräsentation
Ein Autorenteam um Haosong Peng, Xiangyang Liu, Zhengshen Zhang und Yunfeng Fan hat TCP4D vorgestellt. Das Modell löst zwei Aufgaben auf derselben 4D-Szenenrepräsentation. Als Aktionsraum dient die embodiment-unabhängige Pose des Tool Center Points (TCP). Ein Roboterarm, der diese Pose erreicht, kann sie mit seiner eigenen inversen Kinematik ausführen.
Der Tracker bekommt ein monokulares RGB-Video und initiale 2D-TCP-Queries. Er liefert metrische SE(3)-Posen, Greiferzustände, Szenengeometrie und Kameraparameter. Der Generator entnimmt lokale Features der Repräsentation entlang der rekonstruierten Tracks. Er verknüpft sie mit Roboterbeobachtungen und einer Sprachanweisung und sagt daraus zukünftige TCP-Zustände voraus. In der zweiten Stufe sind es 32 Schritte bei vier Frames Historie.
Die Autoren beschreiben außerdem eine Cross-Embodiment-Augmentierung. Vorhandene RGB-Videos werden damit in Demonstrationen für andere Roboter umgewandelt. Aufgezeichnete Zustände des Quellroboters sind dafür nicht nötig.
7,60 mm Trajektorienfehler auf DROID, aber nur 10,94 % auf RoboTwin unter Verteilungsverschiebung
Alle folgenden Zahlen stammen von den Autoren. Der Tracker erreicht laut deren Angaben einen absoluten Trajektorienfehler (ATE) von 7,60 mm auf DROID und 16,07 mm auf RoboLab. Nach der Adaption mit zehn Demonstrationen auf einem UR5 liegt der Wert bei 8,85 mm.
Der Generator erzielt auf RoboTwin 2.0 über 48 Aufgaben eine Erfolgsrate von 69,19 %. Das gilt für Training und Test mit sauberen Szenen (clean-to-clean; 100 Versuche pro Aufgabe und Setting). Unter Verteilungsverschiebung (clean-to-random) sinkt der Wert auf 10,94 %. Nach den eigenen Angaben der Autoren generalisiert das Modell also kaum auf veränderte Szenen.
Gemeinsames Training auf Quell- und augmentierten Demonstrationen hebt die Erfolgsrate auf dem Zielroboter ARX-X5 auf 72,0 %. Reines Augmentierungs-Training kommt auf 30,5 %. Die Angabe von 41,5 % in der Zusammenfassung legt nahe, dass es sich um Prozentpunkte handelt.
Baseline-Vergleiche, etwa mit MoSE3 und EventVLA, kursieren bislang nur in einer KI-generierten Zusammenfassung. Im Originaltext sind sie nicht verifiziert, daher bleiben sie hier unberücksichtigt. Eine unabhängige Einordnung der Ergebnisse liegt noch nicht vor.
Code und drei Checkpoints sind offen, die kommerzielle Nutzung ist an Bedingungen geknüpft
Der Code liegt auf GitHub unter Livioni/TCP4D. Getestet wurde er mit Python 3.11, PyTorch 2.9.1 und CUDA 12.8. Dazu gehört ein Inferenzskript (infer_stage1.py). Hugging-Face-Sammlungen enthalten Modelle sowie Datensätze und Benchmarks.
Veröffentlicht sind drei Checkpoints: TCP4D-stage1-DROID, TCP4D-stage1-RoboTwin und TCP4D-stage2-RoboTwin. Alle drei sind mit „Conditional commercial use“ gekennzeichnet. Welche Bedingungen gelten, ist nicht bekannt. Wer kommerziell nutzen will, sollte die Lizenz vorab prüfen.
Relevant dürfte das Modell für Teams sein, die Imitation-Learning-Daten aus Videos ohne Aktionslabels gewinnen wollen. Auch Betreiber von Plattformen wie UR5, ARX-X5 und CoBoT Magic könnten profitieren, weil sich die TCP-Aktion über die eigene inverse Kinematik ausführen lässt. Im CoBoT-Magic-Experiment nutzten die Autoren cuRobo-IK.



