Uranus: Neuer datengetriebener Robotersimulator für Embodied AI vorgestellt

Datengetriebener Robotersimulator für Embodied AI vorgestellt

Uranus ist ein neuer, datengetriebener Robotersimulator, der auf einem joint-trajectory-konditionierten autoregressiven Diffusionsmodell aufbaut. Das System zielt darauf ab, skalierbare und offene Rollouts für Embodied AI zu ermöglichen – also für KI-Systeme, die in physischen Umgebungen agieren. Skalierbare Simulation ist essenziell für die Generierung von Roboterdaten, das Training von Policies, die Evaluierung und sichere Iteration; reale Interaktionen sind jedoch kostspielig, und konventionelle Simulatoren erfordern eine arbeitsintensive manuelle Konstruktion. Uranus adressiert diese Engpässe durch einen datengetriebenen Ansatz: Statt Szenen und Abläufe manuell zu modellieren, lernt das zugrunde liegende Diffusionsmodell aus vorhandenen Daten und wird durch die gesamte Gelenkpositions-Trajektorie des Roboters konditioniert. Diese Konditionierung auf den vollständigen Trajektorienverlauf ermöglicht es dem Modell, zeitlich konsistente Bewegungsabläufe zu erzeugen, da der gesamte geplante Bewegungsablauf als Kontext für die Generierung jedes Frames dient. Dadurch entfallen die manuellen Aufwände der herkömmlichen Simulationserstellung, und die Rollouts werden flexibler und erweiterbarer: Die autoregressive Architektur generiert schrittweise Frames und unterstützt prinzipiell endlose Sequenzen, ohne auf einen festen Zeithorizont begrenzt zu sein. Uranus stellt damit eine Infrastruktur bereit, die den wachsenden Anforderungen an skalierbare Simulation gerecht werden soll, indem sie die manuelle Konstruktion durch datengetriebene Generierung ersetzt und gleichzeitig flexible, erweiterbare Rollouts für unterschiedliche Roboterplattformen ermöglicht.

Streaming-Rollouts mit 24 FPS und Multi-View-Schnittstelle

Die erste Kernfähigkeit ist ein Streaming- und Open-Ended-Rollout: Uranus erhält zukünftige Gelenkpositions-Trajektorien online und generiert autoregressiv pro Schritt einen latenten Frame, der vier RGB-Frames entspricht – ohne festen Horizont. Dieser Streaming-Ansatz ermöglicht kontinuierliches Training und flexible Szenarien, da neue Trajektorienabschnitte während der laufenden Simulation eingehen können und die Generierung nicht an eine vordefinierte Länge gebunden ist. Zweitens erreicht das System nach einer Inferenz-Optimierung eine niedrige Latenz von 24 FPS. Diese Bildrate ist für Echtzeitanwendungen bedeutsam, weil Robotersteuerung zeitkritisch ist und Verzögerungen in der Simulationsausgabe die Übertragbarkeit auf reale Systeme beeinträchtigen können. Drittens stellt Uranus eine vereinheitlichte Schnittstelle für synchronisierte Multi-View-Generierung bereit, die über verschiedene Roboter-Embodiments und Kamera-Konfigurationen hinweg funktioniert. Der Mehrwert dieser einheitlichen Schnittstelle liegt darin, dass Entwickler und Forschungsprojekte nicht für jede Roboterplattform separate Simulationspipelines aufbauen müssen, sondern dieselbe Infrastruktur für unterschiedliche Hardware nutzen können. Die Entwickler haben nach eigenen Angaben umfassende quantitative und qualitative Evaluierungen auf In-Distribution- und Out-of-Distribution-Daten durchgeführt, um die Leistungsfähigkeit objektiv zu bewerten und aktuelle Grenzen zu identifizieren. Code und Modellgewichte sollen veröffentlicht werden, um die Community mit praktischen Werkzeugen und Erkenntnissen zu unterstützen.