EgoExplorer: 100 Stunden Ganzkörperbewegung, aufgezeichnet mit fünf Trackern

100 Stunden Ganzkörperbewegung, aufgezeichnet mit fünf Trackern

Das Shanghai AI Laboratory, die Zhejiang University und die Shanghai Jiao Tong University haben EgoExplorer vorgestellt, einen Datensatz zu menschlicher Fortbewegung und Manipulation. Das Paper erschien als arXiv-Preprint (2610.18872) und wurde am 13. Oktober 2026 eingereicht. Ziel ist, das Lernen humanoider Loco-Manipulation zu unterstützen.

Der Datensatz umfasst 100 Stunden kontinuierlicher Aufnahmen, überwiegend aus professionellen Tätigkeiten. Er enthält egozentrisches Video, rekonstruierte Ganzkörperbewegung, Fingerartikulation, teils Tastdaten und Beschreibungen auf Schrittebene. Laut den Autoren verteilen sich 2.715 Aufnahmen auf zehn Aufgabenvorlagen in fünf Umgebungen. Sechs Vorlagen sind Laborabläufe, vier stammen aus Haushalt oder Industrie.

Die Hardware besteht aus fünf VIVE Ultimate Trackern an Kopf, Handgelenken und Knöcheln, einer am Kopf getragenen GoPro HERO13 sowie Handschuhen vom Typ MANUS Metagloves Pro oder Wuji. Alle Datenströme laufen auf einer gemeinsamen 30-Hz-Zeitachse. Tastdaten existieren nur in der Wuji-Konfiguration, also nur für eine Teilmenge.

Fünf Tracker erfassen nicht den ganzen Körper. Die Pipeline C³ (Calibrate, Complete, Constrain) rekonstruiert deshalb die übrigen Gelenke. Calibrate bestimmt Körpergeometrie und Tracker-Montage und lässt sich wiederverwenden. Complete ergänzt unbeobachtete Gelenke über einen zeitlichen Prior. Constrain erzwingt Übereinstimmung mit den Messungen, zeitliche Kontinuität und die Vermeidung von Selbst- und Bodendurchdringung. Ob die Kombination tatsächlich neu ist, behaupten bisher nur die Autoren.

71,9 Prozent weniger Fehler, gemessen gegen eine verwandte Referenz

Die Autoren geben an, die Methode senke den Körperpunkt-Fehler gegenüber der stärksten Baseline um 71,9 Prozent. Auf der Evaluationsteilmenge liegt er bei 18,0 Millimetern, beim auf fünf Anker neu trainierten AvatarPoser bei 64,1 Millimetern. Auch Handstabilität und Kontaktschätzung sollen sich verbessert haben.

Der Wert hat eine Grenze. Die Referenz nutzt dasselbe Fitting-Modell wie die Methode selbst und ist keine unabhängige optische Ground Truth. Die 18 Millimeter sind daher kein unabhängiger Wahrheitswert pro Frame oder Szene.

Für die Robotik ist die Evidenz ebenfalls vorläufig. Das Material beschreibt eine Simulationsstudie zum Retargeting auf humanoide Ganzkörperbewegung. Eine Validierung mit realen Robotern ist nicht belegt.

Im Vergleich bleibt EgoExplorer klein. Ego4D umfasst rund 3.670 Stunden, EgoDex 829 Stunden mit Hand- und Fingertracking, PHSD über 1.000 Stunden In-the-wild-Daten. EgoExplorer setzt dagegen auf Ganzkörper, Fortbewegung und Berührung.

Nur 66 Minuten frei zugänglich, Code erst angekündigt

Öffentlich verfügbar ist bisher ein Mini-Release auf Hugging Face mit rund 66 Minuten in 18 Clips. Interessierte füllen ein Formular aus und stimmen Bedingungen zu. Die Vollversion läuft über eine Warteliste. Laut einer Sekundärzusammenfassung nennt die Datenkarte die Lizenz CC BY-NC 4.0, also nur nichtkommerzielle Nutzung.

Beim Code widersprechen sich die Quellen. Das öffentliche GitHub-Repository beschreibt das Toolkit als „end to end“: fünf Tracker, zwei Handschuhe und Kopfkamera als Eingabe. Laut der Zusammenfassung kündigt das README den Erfassungs- und Rekonstruktionscode aber erst für Anfang November 2026 an. Bisher enthalte das Repo vor allem Beschreibung und Demomaterial. Der Repo-Auszug ist abgeschnitten, die Zusammenfassung eine Sekundärquelle mit unbekanntem Prüfdatum. Der aktuelle Stand des Repos ist damit nicht abschließend geprüft.