KI SpotlightNewsVoxel51 macht acht taktile Roboter-Datensätze in FiftyOne ladbar
Der Leitfaden bündelt 1.679 Episoden im Format LeRobot v3.0; erhoben wurden die Daten von Dritten
Mit KI erstellt◆ Fakten auf einen Blick
- Der Voxel51-Leitfaden nennt 8 taktile Datensätze im Format LeRobot v3.0 mit 1.679 Episoden.
- Xense-Datensatz umfasst 834 teleoperierte Episoden mit 1.213.518 Frames bei 30 fps.
- Xense-Aufgabe: Earbuds in Gehäuse einsetzen, Deckel schließen, Gehäuse in Box legen.
- Grabette-Datensatz: 48 Episoden mit 19.353 Frames bei 50 fps, geteilt von CarolinePascal.
- Pour-Datensatz: 51 GELLO-teleoperierte Episoden einer Gießaufgabe, ohne Erfolgsfilterung importiert.
Voxel51 hat in einem Leitfaden zu taktilem Lernen acht Datensätze im Format LeRobot v3.0 aufbereitet. Insgesamt umfassen sie 1.679 Episoden und 1.877.818 Frames. Die Daten enthalten Videos von Gel-Sensoren, Taxel-Gitter sowie Kraft- und Drehmomentwerte an den Fingerspitzen. Dem Leitfaden zufolge lassen sich alle acht in FiftyOne laden. Jeder Datensatz ist mit seiner FiftyOne-Version, dem Quell-Repo und der Lizenz verlinkt.
Der Import läuft über `load_from_hub` von Voxel51 auf Hugging Face. Wer lieber lokal arbeitet, lädt das Repo mit `snapshot_download` herunter und importiert es mit dem Typ `LeRobotDataset`.
Erhoben hat Voxel51 die Daten nicht. Sie stammen von Dritten, die sie auf Hugging Face geteilt haben, darunter Xense, cloudfan und CarolinePascal. Voxel51 stellt lediglich die FiftyOne-Versionen bereit. Wie neu die taktilen Daten selbst sind, geht aus dem vorliegenden Material nicht hervor.
Earbuds, Würfel, Gießaufgabe: Was drei der Datensätze enthalten
Der größte Datensatz stammt von Xense. Er umfasst 834 teleoperierte Episoden mit 1.213.518 Frames bei 30 fps, aufgenommen auf dem Roboter bi_flexiv_rizon4_rt. Die Aufgabe: Earbuds in ein Gehäuse einsetzen, den Deckel schließen und das Gehäuse in eine Box legen. Jede Episode enthält drei RGB- und vier Tactile-Videostreams sowie einen 20-dimensionalen TCP-Zustand samt Aktion. Die Lizenz ist apache-2.0. Die FiftyOne-Version heißt Voxel51/xense-earbud-case-834ep.
Der Grabette-Datensatz von CarolinePascal ist deutlich kleiner. Er umfasst 48 Episoden mit 19.353 Frames bei 50 fps. Der Roboter soll einen weißen Würfel in die richtige Tasse legen. Pro Frame liegen zwei Kamerastreams mit 960x720 Pixeln, eine 8-dimensionale Aktion und zwei int16-Taxel-Gitter (6x6 und 4x8) vor. Auch hier gilt apache-2.0.
Der Pour-Datensatz (Voxel51/intern-pour-lerobot-51ep) umfasst 51 Episoden mit 44.042 Frames einer Gießaufgabe, per GELLO teleoperiert. Die Quelle ist ein Community-Repo von cloudfan mit zwei RGB-Ansichten, zwei Tactile-Bildstreams und Kraft-Drehmoment-Kanälen. Alle 51 Episoden wurden ohne Erfolgsfilterung importiert.
Fehlende Lizenz, fehlende Taxel-Gitter: Was Teams vor dem Training prüfen sollten
Wer LeRobot-Policies mit diesen Daten trainieren will, sollte vorab drei Punkte klären.
Erstens fehlt dem Pour-Datensatz im Quell-Repo eine Lizenzangabe. Ob und wie er sich nutzen lässt, ist offen. Diese Frage sollte vor dem Training geklärt sein.
Zweitens erkennt der FiftyOne-LeRobot-Importer nur Video- und Bild-Features. Die Taxel-Gitter des Grabette-Datensatzes erscheinen deshalb nicht als FiftyOne-Felder. Teams, die sie benötigen, sollten prüfen, wie sie die Gitter auf anderem Weg einlesen.
Drittens sind die Sensortypen uneinheitlich: Gel-Video, Taxel-Gitter und Kraft-Drehmoment-Kanäle. Teams sollten daher einplanen, dass die Eingaben nicht einheitlich vorliegen. Außerdem sind die Pour-Episoden nicht nach Erfolg gefiltert und können deshalb auch misslungene Durchläufe enthalten.
