KI SpotlightNewsNVIDIA stellt Echtzeit-Simulator für Gallenblasen-Operationen vor
Cosmos3-H-Dreams lernt aus klinischen Versius-Aufnahmen und läuft auf einer einzelnen RTX PRO 6000. Den Erstanspruch stellt allein NVIDIA auf. Angaben zu Evaluation, Lizenz und Verfügbarkeit fehlen.
Mit KI erstelltInhalt
◆ Fakten auf einen Blick
- Cosmos3-H-Dreams basiert auf Cosmos 3 und läuft interaktiv auf einer einzelnen NVIDIA RTX PRO 6000 GPU.
- Cosmos3-H-Dreams lernt aus Video und Roboterkinematik klinischer Eingriffe auf der CMR-Surgical-Versius-Plattform.
- Die Beschleunigung erfolgt mit FlashDreams, NVIDIAs Streaming-Inferenz-Bibliothek.
- Der Vorgänger Cosmos-H-Dreams ist ein kausales, per Self Forcing destilliertes Studentenmodell des Cosmos-H-Surgical-Simulators.
- Cosmos-H-Surgical-Simulator erzeugt aus Kontextbild und Roboter-Trajektorie Video, nachtrainiert auf dem Open-H-Embodiment-Datensatz.
Cosmos3-H-Dreams lernt aus echten Gallenblasen-Operationen statt aus Nahtübungen
NVIDIA hat Cosmos3-H-Dreams vorgestellt, einen Echtzeit-Simulator für chirurgische Szenen. Das Modell lernt aus Video und Roboterkinematik. Beides stammt aus klinischen Cholezystektomien, die auf der Versius-Plattform von CMR Surgical aufgezeichnet wurden. Basis ist Cosmos 3. Beschleunigt wird das Modell mit FlashDreams, NVIDIAs Bibliothek für gestreamte Inferenz. Nach Angaben des Unternehmens läuft es interaktiv auf einer einzelnen RTX PRO 6000 GPU.
Der Vorgänger Cosmos-H-Dreams trainierte auf dVRK-Tabletop-Nahtübungen. Die Instrumente arbeiten dort vor einem vergleichsweise einfachen Hintergrund. Der Nachfolger setzt auf Aufnahmen echter Eingriffe, und genau dort wird es schwieriger. NVIDIA begründet das so: Schon kleine Instrumentbewegungen können die gesamte Szene verändern. Gewebe dehnt sich unter Zug, Spiegelungen wandern. Strukturen werden verdeckt, Rauch trübt die Sicht.
NVIDIA beansprucht, es sei nach bestem Wissen der erste Echtzeit-Generativsimulator für Chirurgie, der auf klinischen Cholezystektomie-Aufnahmen trainiert wurde und Live-Kinematiksteuerung unterstützt. Das ist eine Herstellerangabe. Unabhängig eingeordnet ist sie bislang nicht.
Was zum Vorgänger Cosmos-H-Dreams belegt ist: Destillation, 160 FPS, vielfältige Steuerung
Die folgenden Angaben betreffen ausschließlich den Vorgänger. Er ist ein kausales Studentenmodell, das wenige Schritte benötigt. Per Self Forcing wurde es aus dem bidirektionalen, offline arbeitenden Cosmos-H-Surgical-Simulator destilliert. Dieser wiederum baut auf Cosmos-Predict2.5-2B auf. Das Modell erzeugt Video autoregressiv in kurzen Blöcken, ausgehend von einem Kontextbild und einem Strom von Roboteraktionen. Die Bilddynamik lernt es direkt aus synchronisiertem Video und Kinematik. Geometrie, Gewebeverformung und Physik modelliert es nicht explizit.
Laut dem zugehörigen Paper streamt der Vorgänger mit 160 Inferenz-FPS auf einer einzelnen RTX PRO 6000 Blackwell. Die Steuerung ist controller-agnostisch. Demonstriert wurde sie per Browser-Tastatur, mit einem Meta-Quest-Headset, über eine kommerzielle Chirurgenkonsole wie Versius sowie durch Policies im geschlossenen Regelkreis. Das veröffentlichte Checkpoint ist auf dVRK-Tabletop-Nähen spezialisiert.
Die Modellkarte nennt als vorgesehene Einsätze Training und Üben chirurgischer Fertigkeiten in Echtzeit, interaktive Demonstration, Closed-Loop-Evaluation chirurgischer Robotik-Policies und die Erzeugung synthetischer Daten. Keine dieser Zahlen und Angaben lässt sich auf den Nachfolger übertragen.
Offen bleiben Evaluation, Lizenz und Verfügbarkeit des Nachfolgers
Zum Nachfolger fehlen Angaben zu Architektur, Parametergröße, Umfang der Trainingsdaten, Evaluation, Lizenz und Verfügbarkeit. Die NVIDIA Open Model License, die für den Vorgänger gilt, lässt sich nicht auf Cosmos3-H-Dreams übertragen.
Den Erstanspruch und das Etikett „high realism“ hat NVIDIA selbst formuliert. Ohne Metriken, Vergleiche mit Baselines oder eine Bewertung durch Chirurgen ist beides unabhängig nicht geprüft.
