NVIDIA publie les modèles ouverts Cosmos 3 pour la simulation interactive de mondes

NVIDIA a étendu sa plateforme de développement de modèles de monde Cosmos avec quatre nouveaux points de contrôle à poids ouverts sous la famille de modèles Cosmos 3. Publiés début novembre 2026, ces modèles sont conçus pour générer des simulations interactives de mondes et des scènes de conduite multi-capteurs et multi-vues destinées aux chercheurs et aux ingénieurs.

Cette publication cible les développeurs travaillant sur la conduite autonome et la robotique qui ont besoin d'environnements synthétiques hautement fidèles et contrôlables. En rendant les poids disponibles sous la licence OpenMDW1.1, NVIDIA vise à fournir une base commune pour adapter les modèles à des configurations spécifiques de capteurs et à des domaines particuliers.

Ce qui s'est passé

La mise à jour introduit quatre exemples spécifiques post-entraînés de l'architecture Cosmos 3 Nano, chacun contenant 16 milliards de paramètres entraînables. Ces points de contrôle ne sont pas de simples générateurs vidéo statiques, mais sont construits pour la simulation interactive où les observations et les actions s'influencent mutuellement en temps réel.

Les deux premiers modèles se concentrent sur la conduite autonome. Cosmos3-Nano-Transfer-Auto génère des données de conduite multi-vues avec des conditions variées de météo, d'éclairage et d'heure du jour. Il prend en charge les observations synchronisées de caméras et de LiDAR, permettant aux développeurs d'étudier comment les politiques de conduite répondent aux changements de disposition des routes et de signaux de circulation. Le second modèle de conduite, Cosmos3-Nano-Sim-Auto, est une variante distillée causalement optimisée pour le streaming rapide. Il génère des séquences successives de données vidéo et LiDAR synchronisées en utilisant l'historique généré et les commandes mises à jour, permettant des déploiements interactifs longs.

Les deux autres modèles concernent la robotique générale et l'intégration de simulateurs. Cosmos3-Nano-Sim-Transfer convertit les contrôles spatiaux provenant d'un simulateur physique, tels que les cartes de profondeur ou les masques de segmentation, ainsi que les invites textuelles, en vidéos photoréalistes. Cela permet à l'apparence visuelle d'être générée par l'IA tandis que l'état physique reste ancré dans un simulateur traditionnel. Enfin, Cosmos3-Nano-Sim-Bimanual prédit directement les observations vidéo à partir des actions du robot, prenant en charge la simulation interactive à deux bras pour des incarnations robotiques spécifiques.

Comment cela fonctionne

Ces modèles reposent sur une colonne vertébrale Mixture-of-Transformers (MoT) qui connecte des réseaux séparés de traitement de texte et de génération visuelle via des mécanismes d'attention. Le système opère sur des représentations vidéo compressées appelées latents, où chaque pas de temps latent correspond à quatre images RGB. Pour générer la vidéo, le modèle utilise une attention temporelle causale, ce qui lui permet de lire l'historique disponible et les commandes actuelles tout en bloquant l'accès aux futures observations cibles. Un cache clé/valeur conserve les informations d'attention pour accélérer les prédictions ultérieures.

Le processus d'entraînement suit une recette en quatre étapes conçue pour équilibrer la qualité et la vitesse d'inférence. L'étape 0 implique une adaptation bidirectionnelle pour apprendre les relations spécifiques au domaine entre le contrôle et la vidéo à partir de clips enregistrés. L'étape 1 utilise l'enseignement forcé pour prédire des segments à partir d'observations antérieures. L'étape 2 applique la distillation de cohérence, où un modèle enseignant gelé entraîne un modèle étudiant à générer chaque segment en seulement quatre étapes de débruitage. La dernière étape, l'auto-forçage, entraîne le modèle sur son propre historique généré. Cette étape est cruciale car elle expose le modèle à ses propres erreurs, empêchant les légères erreurs de prédiction de se composer en artefacts majeurs lors de longues séquences interactives.

Détails clés

• Les quatre modèles sont basés sur l'architecture Cosmos 3 Nano avec 16 milliards de paramètres entraînables.
• Les modèles sont publiés sous la licence OpenMDW1.1, autorisant tant l'usage commercial que non commercial.
• Cosmos3-Nano-Transfer-Auto prend en charge la génération conjointe RGB et LiDAR sur jusqu'à 11 vues caméra, y compris les objectifs fisheye.
• Cosmos3-Nano-Sim-Auto utilise la distillation causale pour générer des segments vidéo en quelques étapes de débruitage pour un streaming rapide.
• Cosmos3-Nano-Sim-Bimanual prend en charge la simulation interactive à deux bras pour les incarnations YAM et AgiBot en utilisant un schéma d'action à 64 valeurs.
• L'inférence nécessite Linux, un GPU NVIDIA, Docker et le NVIDIA Container Toolkit, avec des tests effectués sur du matériel GB200.

Pourquoi c'est important

Pour les ingénieurs développant des véhicules autonomes ou des robots, la collecte de données d'entraînement réelles est coûteuse, dangereuse et limitée en portée. Ces modèles à poids ouverts permettent aux équipes de générer de vastes quantités de données synthétiques avec un contrôle précis sur les variables environnementales. En synchronisant les données visuelles avec le LiDAR et les contrôles physiques, les développeurs peuvent tester des cas limites, tels que des conditions météorologiques rares ou des scénarios de trafic complexes, sans quitter le laboratoire. Cette capacité est essentielle pour valider les systèmes critiques pour la sécurité avant leur déploiement.

La nature ouverte de cette publication abaisse également la barrière à l'entrée pour la recherche sur les modèles de monde. Au lieu de construire des modèles génératifs depuis zéro, les équipes peuvent adapter ces poids de base à leurs configurations spécifiques de capteurs et à leurs domaines opérationnels. Les recettes de post-entraînement fournies offrent un chemin clair de la génération de données hors ligne vers la simulation interactive en temps réel. Cette standardisation aide la communauté à comparer les méthodes et à apporter des améliorations, accélérant le développement de mondes simulés plus réactifs et précis.

Ce que vous pouvez faire

• Téléchargez les quatre nouveaux points de contrôle depuis Hugging Face pour expérimenter la génération de données synthétiques pour votre domaine spécifique.
• Utilisez Cosmos3-Nano-Transfer-Auto pour adapter le modèle à votre propre disposition de caméras et configuration LiDAR en utilisant vos données propriétaires.
• Implémentez le pipeline d'entraînement causal et de distillation pour convertir les modèles adaptés en variantes à streaming rapide pour la simulation interactive.
• Intégrez Cosmos3-Nano-Sim-Transfer avec votre simulateur physique existant pour rendre des visuels photoréalistes à partir de contrôles de profondeur et de segmentation.
• Testez Cosmos3-Nano-Sim-Bimanual pour les tâches de manipulation robotique en fournissant des séquences d'actions normalisées selon le schéma publié.
• Évaluez la qualité du modèle sur des épisodes réservés pour vérifier l'exécution et la convergence avant de vous engager dans de longues sessions d'entraînement.