NVIDIA koppelt Frontier-KI-Modelle an Omniverse-Simulationen

NVIDIA koppelt Frontier-KI-Modelle an Omniverse-Simulationen

NVIDIA hat offiziell bekannt gegeben (vgl. NVIDIA-Blog), dass Entwickler Frontier-KI-Modelle wie GPT-6 Astra mit den Omniverse-Bibliotheken kombinieren können, um KI-Agenten zu steuern, die physikbasierte Simulationen aufbauen und verwalten. Laut NVIDIA (vgl. NVIDIA-Blog) umfassen die Bibliotheken ovphysx für GPU-beschleunigte Physik, ovstage für Szenen-Updates, ovrtx für Rendering und ovui für die Benutzeroberfläche. Die Steuerung erfolgt per natürlicher Sprache: Entwickler geben Anweisungen, prüfen Ergebnisse und lenken Änderungen, ohne selbst in den Code eingreifen zu müssen. Technisch umgesetzt wird dies über Prompt-Design und API-Aufrufe: Der Entwickler formuliert eine textuelle Anweisung, das KI-Modell zerlegt diese in einzelne Aufgaben und ruft über die Programmierschnittstellen der Omniverse-Bibliotheken die entsprechenden Funktionen auf. Beispielsweise könnte ein Prompt lauten: „Erstelle eine Simulation mit einem Humanoiden in einer Lagerhalle, verbinde Physik und Rendering und füge eine First-Person-Ansicht hinzu.“ Das KI-Modell übersetzt diesen Prompt in eine Sequenz von API-Aufrufen an ovphysx, ovstage, ovrtx und ovui. Dadurch wird die manuelle Arbeit des Zusammenstellens von Assets, des Verbindens von Physik und Rendering sowie der Überprüfung des Szenenverhaltens an die KI-Agenten delegiert.

Ein konkretes Beispiel liefert Frank DeLise, Omniverse-Produktmanager bei NVIDIA. Laut NVIDIA-Blog nutzte er GPT-6 Astra, um einen interaktiven Humanoid-Simulator für eine Lagerumgebung mit First- und Third-Person-Ansicht zu erstellen. DeLise wies Astra an, die genannten Bibliotheken zu verbinden, und nutzte zudem SimReady, um die physische Szene in der Simulation aufzubauen. Astra generierte anschließend Animationen und eine Benutzeroberfläche. Das Beispiel zeigt, wie sich die Technik für Robotikanwendungen in Lagerumgebungen einsetzen lässt: Entwickler können vor der Automatisierung von Lageraufgaben eine interaktive Simulationsumgebung erstellen, um das Aufgabenverhalten zu erkunden und zu bewerten, wie die Arbeit erledigt wird.

Fünf Schritte zur CAD-Asset-Vorbereitung für Robotik-Simulationen

Für die Vorbereitung von CAD-Assets für Robotik-Simulationen stellt NVIDIA einen strukturierten Workflow vor (vgl. NVIDIA-Dokumentation), der auf der SimReady Foundation und Omniverse-Tools basiert. Laut NVIDIA (vgl. NVIDIA-Dokumentation) können Frontier-KI-Modelle dabei assistieren, indem sie Referenzmaterialien interpretieren und die Omniverse-Werkzeuge im Auftrag der Entwickler aufrufen. Der Assistenz-Mechanismus funktioniert über prompt-basierte Tool-Invocation und API-Integration: Das KI-Modell analysiert die bereitgestellten Referenzmaterialien – etwa CAD-Dateien oder Spezifikationen – und löst dann gezielt die passenden Tool-Aufrufe aus. Ein konkretes Beispiel: Bei der STEP-Datei-Konvertierung erkennt das KI-Modell das Dateiformat und stößt den Konvertierungsbefehl an, ohne dass der Entwickler manuell eingreifen muss. Der Workflow umfasst fünf Schritte: erstens die Konvertierung von STEP-Dateien, zweitens die Validierung des Erscheinungsbilds, drittens die Konfiguration der Physik, viertens die SimReady-Validierung und fünftens eine abschließende Pick-and-Place-Aufgabe mit beiden Armen und Greifern in NVIDIA Isaac Sim. Als Beispiel dient die Vorbereitung eines ABB Robotics YuMi Roboters. Die einzelnen Schritte stellen sicher, dass das Asset nicht nur optisch korrekt ist, sondern auch über die nötigen Kollisionsgeometrien, Gelenke und Physikeigenschaften verfügt, damit die Simulation realistische Ergebnisse liefert.