Open-HumanScale: Peking-Universität stellt 50.000-Stunden-Korpus mit Menschenvideo für Roboterlernen vor

000 Stunden Menschenvideo aus fünf bestehenden Korpora

Die DAGroup der Peking University hat zusammen mit der National University of Singapore, dem MIT, der UC Santa Barbara und NVIDIA Open-HumanScale vorgestellt. Herzstück ist der Korpus Open-HumanScale-50K: 50.000 Stunden, 35,9 Millionen Clips. Jeder Clip enthält Video, Handbewegung und Sprachbeschreibung.

Neu aufgenommen haben die Autoren die Daten nicht. Laut GitHub-Seite stammt der Bestand aus HumanNet, EgoSuite-Open100K, EgoDex, Gen-HumanEgo und EgoVerse. Gefiltert wird nach Handsichtbarkeit, Bewegungsstabilität und Manipulationsaktivität. Danach gleichen die Autoren die Quellen auf eine einheitliche bimanuelle Aktionsrepräsentation ab, sodass Kamerabilder, Handgelenkachsen und Greiferöffnung zusammenpassen. Das Format ist LeRobot v3 mit komprimiertem MP4.

Auf dem Korpus setzen zwei World-Action-Modelle auf. HumanWAM-Vanilla wurde nur mit egozentrischem Menschenvideo vortrainiert. HumanWAM-Goal ist visuell zielkonditioniert und wird zusammen mit Mensch- und Roboterdaten vortrainiert. Die Autoren nennen Open-HumanScale ein „first fully open recipe“ zum Skalieren egozentrischen Pretrainings auf 50.000 Stunden. Das ist eine Selbstauskunft und keine unabhängig bestätigte Feststellung.

Von 49,1 auf 73,2 Prozent: Was die Autoren für Skalierung und Benchmarks berichten

Die folgenden Zahlen stammen aus dem technischen Bericht und der GitHub-Seite der Autoren. Wächst das egozentrische Pretraining von 100 auf 50.000 Stunden, steigt die Erfolgsrate in Szenen außerhalb der Trainingsverteilung (Scene-OOD) von 49,1 auf 73,2 Prozent. Ergänzen die Autoren einen festen Roboterkorpus um Menschendaten, verbessert sich der Zero-Shot-Erfolg auf RoboTwin von 11,48 auf 13,94 Prozent. Über 20 reale Aufgaben steigt er von 20,0 auf 30,5 Prozent. Aus geschlossenen Simulationsevaluationen leiten sie ein empirisches log-lineares Skalierungsgesetz ab, das Pretraining-Stunden und Roboter-Erfolgsrate verknüpft.

HumanWAM-Vanilla erreicht nach Roboter-Post-Training auf RoboTwin 2.0 92,08 Prozent (Clean2Clean) und 68,88 Prozent (Clean2Random). Auf RoboDojo liegt die mittlere Erfolgsrate bei 14,17 Prozent, der mittlere Fortschrittswert bei 19,00. HumanWAM-Goal kommt auf RoboTwin 2.0 auf 92,70 Prozent (Clean) und 84,60 Prozent (Random), im Mittel 88,65 Prozent. Damit führen die Autoren ihr Modell auf Platz 1 des Benchmarks.

Die Formulierungen „new state-of-the-art“ und „broad zero-shot generalization“ stammen von den Autoren. Prüfen lassen sie sich über die offizielle RoboTwin-2.0-Rangliste und durch unabhängige Reproduktion. Im vorliegenden Material findet sich dafür keine Bestätigung.

Unvollständiger Upload und zwei Projektnamen

Die Veröffentlichung ist unvollständig. Nach dem Stand vom 5. November ist der technische Bericht erschienen. Modellgewichte und Korpus werden noch hochgeladen, der ModelScope-Mirror ist leer, Code und Dokumentation werden erst aufbereitet. Ob das Rezept tatsächlich „fully open“ ist, lässt sich deshalb noch nicht abschließend beurteilen.

Auch der Projektname schwankt. Hugging Face, GitHub und Emergent Mind nennen das Projekt Open-HumanScale, die arXiv-Fassung dagegen Open-HumanWAM. Projekt-URLs und Datensatzpfad tragen den Namen HumanWAM. Das Material erklärt den Grund nicht. Die Zahlen im Abstract stimmen überein.

Zur Einordnung: Mit 50.000 Stunden ist der Korpus kleiner als mehrere andere offene Sammlungen. HumanNet, ebenfalls von der PKU DAGroup, umfasst eine Million Stunden. Egocentric-1M von Build AI (rund eine Million Stunden, Apache 2.0) und Egocentric-100K (über 100.000 Stunden aus Fabrikumgebungen) sind ebenfalls größer. EgoDex von Apple, eine der fünf Quellen, umfasst in der Originalfassung 829 Stunden; wie viel davon in den 50K-Korpus einging, nennt das Material nicht. Wer den Korpus nutzen will, sollte die Lizenzen und den Datenschutz der Quellkorpora prüfen, denn er setzt sich aus deren Material zusammen.