NVIDIA veröffentlicht Lyra 1.0 und 2.0 als offene generative 3D-Weltmodelle

NVIDIA veröffentlicht Lyra 1.0 und 2.0 als offene generative 3D-Weltmodelle

NVIDIA hat mit Lyra 1.0 und Lyra 2.0 zwei offene generative 3D-Weltmodelle veröffentlicht. Lyra 1.0 erschien am 23. September 2025, Lyra 2.0 am 15. April 2026. Beide Modelle stammen aus dem NVIDIA Spatial Intelligence Lab und sind Teil einer Serie offener generativer 3D-Weltmodelle. Das Paper zu Lyra 1.0 mit dem Titel „Lyra: Generative 3D Scene Reconstruction via Video Diffusion Model Self-Distillation“ wurde für die International Conference on Learning Representations (ICLR) 2026 angenommen. Lyra 1.0 ermöglicht nach Angaben des Labors die feed-forward 3D- und 4D-Szenengenerierung aus einem einzelnen Bild oder Video. Lyra 2.0 bietet explorierbare generative 3D-Welten mit langhorizontiger, 3D-konsistenter Generierung und erzeugt aus einem einzelnen Bild persistente, explorierbare 3D-Welten. Die Veröffentlichung von Lyra 2.0 umfasst neben dem Modell auch GUI- und Trainingscode. Damit deckt die Serie sowohl statische und dynamische Szenen als auch weitläufige, begehbare Umgebungen ab. Lyra 1.0 wurde zuerst veröffentlicht, gefolgt von Lyra 2.0 rund sieben Monate später. Die Annahme auf der ICLR 2026 bestätigt die wissenschaftliche Begutachtung des Lyra-1.0-Ansatzes. NVIDIA bezeichnet die Modelle als offen, da der Quellcode öffentlich zugänglich ist. Die Kernfähigkeiten unterscheiden sich: Lyra 1.0 zielt auf die direkte Szenengenerierung, Lyra 2.0 auf die Erzeugung längerer, konsistenter Welten. Beide Versionen sind im offiziellen Projekt-Repository dokumentiert.

Self-Distillation und explorierbare Welten: Die technische Basis beider Versionen

Technisch setzt Lyra 1.0 auf Video-Diffusion-Model-Self-Distillation. Dabei wird das implizite 3D-Wissen eines Videodiffusionsmodells in ein feed-forward-Modell destilliert, das aus einem einzelnen Bild oder Video direkt 3D- und 4D-Szenen erzeugt. Lyra 2.0 verfolgt einen zweistufigen Ansatz: Zuerst synthetisiert das Framework ein langes Video mit starker globaler geometrischer Konsistenz, anschließend wird die generierte Sequenz in eine explizite 3D-Repräsentation rekonstruiert. Um räumliches Vergessen zu vermeiden, speichert Lyra 2.0 die 3D-Geometrie pro Einzelbild und nutzt sie für das Abrufen relevanter früherer Frames; gegen zeitliches Driften wird das Modell mit selbst augmentierten Historien trainiert, die eigene degradierte Ausgaben enthalten. Lyra 2.0 nutzt die 3D-Geometrie ausschließlich für das Informations-Routing, während die Erscheinungsbild-Synthese dem generativen Prior überlassen bleibt. Das Training mit selbst augmentierten Historien lehrt das Modell, Drift zu korrigieren statt fortzupflanzen. Die explizite 3D-Repräsentation unterstützt Echtzeit-Rendering, und das Framework ist für skalierbare, räumlich persistente Szenengenerierung ausgelegt. Die feed-forward-Eigenschaft von Lyra 1.0 bedeutet, dass die Generierung ohne iterative Optimierungsschritte erfolgt. Nach Angaben von NVIDIA erreicht Lyra State-of-the-Art-Leistung bei statischer und dynamischer 3D-Szenengenerierung, und Lyra 2.0 etabliert einen neuen State of the Art in der Einzelbild-3D-Szenengenerierung.

Apache-2.0 für Code, interne Forschungslizenz für Lyra 2.0

Der Quellcode von Lyra ist unter der Apache-2.0-Lizenz veröffentlicht. Für das Lyra-2.0-Modell gilt jedoch die NVIDIA Internal Scientific Research and Development Model License. Diese Lizenz erlaubt ausschließlich die interne wissenschaftliche Forschung und Entwicklung; eine darüber hinausgehende Nutzung ist nicht vorgesehen. Für Lyra 1.0 verweist NVIDIA auf eine separate Modelllizenz im zugehörigen Repository. Die unterschiedlichen Lizenzen betreffen also Code und Modell getrennt: Während der Code frei verwendet werden darf, bleibt das Lyra-2.0-Modell auf interne Forschungszwecke beschränkt. NVIDIA stellt den Quellcode beider Versionen öffentlich bereit, das Lyra-2.0-Modell ist jedoch nur für interne Forschungszwecke freigegeben. Diese Trennung ist in den jeweiligen Repositories dokumentiert. Nutzer müssen die Modelllizenz vor dem Einsatz von Lyra 2.0 prüfen.