RoboTok: Web-Videos als skalierbare Trainingsdaten für Roboter

RoboTok: Web-Videos als skalierbare Trainingsdaten für Roboter

RoboTok wird laut Herstellerangabe erstmals dokumentiert als ein internet-skaliertes Daten-Engine-System vorgestellt, das relevante menschliche Manipulationsvideos aus dem Web abruft, um das Training von Roboter-Policies zu verbessern. Der Hersteller gibt an, dass dieser Ansatz einen zentralen Engpass im Robot-Learning adressiert: Breite und vielfältige Demonstrationsdaten sind essenziell, doch das Sammeln von Roboterdaten bleibt teuer und ist schlecht geeignet, um den Long Tail realer Aufgaben abzudecken. Dies liegt konzeptionell daran, dass Roboter-Demonstrationen typischerweise physische Roboter, kontrollierte Umgebungen und menschliche Bedienung erfordern, was die Skalierung und Diversität einschränkt. Web-Videos hingegen sind bereits in internet-skalierter Menge vorhanden und wachsen kontinuierlich, wodurch sie eine potenziell breitere und stetig erweiterbare Quelle für Manipulationsverhalten darstellen. Nach Herstellerangabe etabliert RoboTok damit einen handposen-trajektorien-bewussten Abruf als Weg, Web-Video zu einer skalierbaren und kontinuierlich wachsenden Quelle für Robot-Learning-Supervision zu machen.

Latente Bewegungsraum-Darstellung und berichtete Evaluationsergebnisse

Laut Herstellerangabe ist die technische Grundlage von RoboTok eine latente Bewegungsraum-Darstellung, die aus 3D-Handtrajektorien in geschätzten akteurzentrierten Referenzrahmen gelernt wird. Der Hersteller erläutert, dass die 3D-Handtrajektorien aus den Videos extrahiert und in einen gemeinsamen latenten Raum projiziert werden, der die wesentlichen Bewegungsmuster erfasst. Diese Repräsentation ermöglicht es, Manipulationsverhalten über Variationen in Kameraperspektive, Szenenaussehen und Akteurverdeckungen hinweg zu vergleichen. Der akteurzentrierte Referenzrahmen stellt sicher, dass die Handbewegungen unabhängig von der absoluten Position oder Orientierung der Kamera beschrieben werden, wodurch dieselbe Manipulation aus verschiedenen Blickwinkeln als ähnlich erkannt wird. Gleichzeitig ist die Darstellung laut Herstellerangabe kompakt genug für eine effiziente Suche und kontinuierliche Indexierung über internet-skalierte Videosammlungen. Das bedeutet, dass die latenten Vektoren der Handtrajektorien so dimensioniert sind, dass sie schnell verglichen und in großen Datenbanken gespeichert werden können, ohne übermäßigen Speicher- oder Rechenaufwand zu verursachen. Diese Kompaktheit ist entscheidend, um die Suche über Millionen von Web-Videos praktikabel zu machen. Die kontinuierliche Indexierung bedeutet, dass neue Web-Videos laufend in den latenten Raum eingefügt werden können, ohne die gesamte Sammlung neu verarbeiten zu müssen. Herstellerangabe: In der Evaluation wird RoboTok gegen bestehende Ansätze zum Abruf von Roboterdaten auf Retrieval-Benchmarks und hinsichtlich der nachgelagerten Roboter-Policy-Performance getestet. Die Retrieval-Benchmarks messen, wie relevant die abgerufenen menschlichen Demonstrationsvideos für eine gegebene Anfrage sind, während die nachgelagerte Policy-Performance die Erfolgsrate der mit diesen Demonstrationen trainierten Roboter-Policy bewertet. Die Autoren berichten, dass RoboTok relevantere Manipulationsdemonstrationen abruft und die nachgelagerte Aufgabenerfolgsrate im Vergleich zu bestehenden Ansätzen verbessert. Konkrete Zahlenwerte werden im Abstract nicht genannt; die Aussagen basieren auf den Ergebnissen der genannten Benchmarks und Policy-Tests.