NVIDIA veröffentlicht offene Cosmos-3-Modelle für interaktive Weltsimulation

NVIDIA hat seine Entwicklungsplattform für Weltmodelle Cosmos um vier neue Open-Weight-Checkpoints unter der Modellfamilie Cosmos 3 erweitert. Diese Modelle wurden Anfang November 2026 veröffentlicht und sind darauf ausgelegt, interaktive Weltsimulationen sowie multisensorische, multiview-basierte Fahrszenen für Forscher und Ingenieure zu generieren.

Das Release richtet sich an Entwickler im Bereich autonomes Fahren und Robotik, die hochauflösende, steuerbare synthetische Umgebungen benötigen. Indem NVIDIA die Gewichte unter der Lizenz OpenMDW1.1 offenlegt, soll eine gemeinsame Grundlage geschaffen werden, um die Modelle an spezifische Sensorkonfigurationen und Domänen anzupassen.

Was ist passiert?

Das Update führt vier spezifische nachtrainierte Beispiele der Architektur Cosmos 3 Nano ein, die jeweils 16 Milliarden trainierbare Parameter enthalten. Diese Checkpoints sind nicht nur statische Videogeneratoren, sondern für interaktive Simulationen konzipiert, bei denen Beobachtungen und Aktionen sich in Echtzeit gegenseitig beeinflussen.

Die ersten beiden Modelle konzentrieren sich auf autonomes Fahren. Cosmos3-Nano-Transfer-Auto generiert Multiview-Fahrdaten mit variierenden Wetter-, Beleuchtungs- und Tageszeitbedingungen. Es unterstützt synchronisierte Kamera- und LiDAR-Beobachtungen, sodass Entwickler untersuchen können, wie Fahrstrategien auf Änderungen der Straßenlayouts und Verkehrszeichen reagieren. Das zweite Fahrmodell, Cosmos3-Nano-Sim-Auto, ist eine kausal destillierte Variante, die für schnelles Streaming optimiert ist. Es erzeugt sukzessive Blöcke synchronisierter Video- und LiDAR-Daten unter Verwendung generierter Historien und aktualisierter Steuerbefehle, was lange, interaktive Rollouts ermöglicht.

Die anderen beiden Modelle befassen sich mit allgemeiner Robotik und Simulatorintegration. Cosmos3-Nano-Sim-Transfer wandelt räumliche Steuerbefehle aus einem Physiksimulator, wie Tiefenkarten oder Segmentierungsmasken, zusammen mit Text-Prompts in fotorealistische Videos um. Dies ermöglicht es, das visuelle Erscheinungsbild durch KI zu generieren, während der physikalische Zustand in einem traditionellen Simulator verankert bleibt. Schließlich sagt Cosmos3-Nano-Sim-Bimanual Video-Beobachtungen direkt aus Roboteraktionen voraus und unterstützt so interaktive Zwei-Arm-Simulationen für bestimmte Roboter-Konfigurationen.

Wie es funktioniert

Diese Modelle basieren auf einem Mixture-of-Transformers (MoT)-Backbone, der separate Netzwerke zur Textverarbeitung und visuellen Generierung über Aufmerksamkeitsmechanismen verbindet. Das System arbeitet mit komprimierten Videodarstellungen, sogenannten Latents, wobei jeder Latent-Zeitschritt vier RGB-Bildern entspricht. Zur Videoerzeugung nutzt das Modell temporal-causale Aufmerksamkeit, die es ihm erlaubt, verfügbare Historie und aktuelle Steuerbefehle zu lesen, den Zugriff auf zukünftige Zielbeobachtungen jedoch zu blockieren. Ein Key/Value-Cache speichert Aufmerksamkeitsinformationen, um nachfolgende Vorhersagen zu beschleunigen.

Der Trainingsprozess folgt einem vierschrittigen Rezept, das Qualität und Inferenzgeschwindigkeit ausbalanciert. Schritt 0 umfasst bidirektionale Anpassung, um domänenspezifische Beziehungen von Steuerung zu Video aus aufgezeichneten Clips zu lernen. Schritt 1 nutzt Teacher Forcing, um Blöcke aus früheren Beobachtungen vorherzusagen. Schritt 2 wendet Konsistenz-Destillation an, bei der ein eingefrorenes Lehrermodell ein Schülermodell darauf trainiert, jeden Block in nur vier Denoising-Schritten zu generieren. Der letzte Schritt, Self-Forcing, trainiert das Modell auf seiner eigenen generierten Historie. Dieser Schritt ist kritisch, da er das Modell seinen eigenen Fehlern aussetzt und verhindert, dass kleine Fehlvorhersachen sich während langer interaktiver Sequenzen zu großen Artefakten summieren.

Wichtige Details

• Alle vier Modelle basieren auf der Architektur Cosmos 3 Nano mit 16 Milliarden trainierbaren Parametern.
• Die Modelle werden unter der Lizenz OpenMDW1.1 veröffentlicht, die sowohl kommerzielle als auch nicht-kommerzielle Nutzung erlaubt.
• Cosmos3-Nano-Transfer-Auto unterstützt die gemeinsame Generierung von RGB- und LiDAR-Daten über bis zu 11 Kameraperspektiven, einschließlich Fischaugenobjektiven.
• Cosmos3-Nano-Sim-Auto nutzt kausale Destillation, um Videoblöcke in wenigen Denoising-Schritten für schnelles Streaming zu generieren.
• Cosmos3-Nano-Sim-Bimanual unterstützt interaktive Zwei-Arm-Simulationen für YAM- und AgiBot-Konfigurationen unter Verwendung eines 64-Wert-Aktionschemas.
• Für die Inferenz sind Linux, eine NVIDIA-GPU, Docker und das NVIDIA Container Toolkit erforderlich; Tests wurden auf GB200-Hardware durchgeführt.

Warum es wichtig ist

Für Ingenieure, die autonome Fahrzeuge oder Roboter entwickeln, ist die Sammlung realer Trainingsdaten teuer, gefährlich und in ihrem Umfang begrenzt. Diese Open-Weight-Modelle ermöglichen es Teams, große Mengen synthetischer Daten mit präziser Kontrolle über Umgebungsvariablen zu generieren. Durch die Synchronisation visueller Daten mit LiDAR und physikalischen Steuerbefehlen können Entwickler Grenzfälle testen, wie seltene Wetterbedingungen oder komplexe Verkehrsszenarien, ohne das Labor verlassen zu müssen. Diese Fähigkeit ist entscheidend für die Validierung sicherheitskritischer Systeme vor dem Einsatz.

Die offene Natur des Releases senkt zudem die Einstiegshürde für die Forschung an Weltmodellen. Anstatt generative Modelle von Grund auf neu zu bauen, können Teams diese Basisgewichte an ihre spezifischen Sensorkonfigurationen und operativen Domänen anpassen. Die bereitgestellten Post-Training-Rezepte bieten einen klaren Weg von der Offline-Datengenerierung zur Echtzeit-interaktiven Simulation. Diese Standardisierung hilft der Community, Methoden zu vergleichen und Verbesserungen beizusteuern, was die Entwicklung reaktionsschnellerer und genauerer simulierter Welten beschleunigt.

Was Sie tun können

• Laden Sie die vier neuen Checkpoints von Hugging Face herunter, um mit der synthetischen Datengenerierung für Ihre spezifische Domäne zu experimentieren.
• Verwenden Sie Cosmos3-Nano-Transfer-Auto, um das Modell an Ihr eigenes Kamerasetup und Ihre LiDAR-Konfiguration unter Verwendung Ihrer proprietären Daten anzupassen.
• Implementieren Sie die Pipeline für kausales Training und Destillation, um angepasste Modelle in Varianten für schnelles Streaming zur interaktiven Simulation umzuwandeln.
• Integrieren Sie Cosmos3-Nano-Sim-Transfer in Ihren bestehenden Physiksimulator, um fotorealistische Visuals aus Tiefen- und Segmentierungssteuerungen zu rendern.
• Testen Sie Cosmos3-Nano-Sim-Bimanual für robotische Manipulationsaufgaben, indem Sie normalisierte Aktionssequenzen gemäß dem veröffentlichten Schema bereitstellen.
• Bewerten Sie die Modellqualität auf zurückgehaltenen Episoden, um Ausführung und Konvergenz zu überprüfen, bevor Sie sich auf lange Trainingsläufe festlegen.