NVIDIA Cosmos simplifie la simulation et le déploiement de l'IA physique

NVIDIA a présenté Cosmos, une plateforme complète conçue pour accélérer le développement de l'IA physique grâce à des modèles fondamentaux du monde et des outils de développement spécialisés. Lancée début novembre 2026, cette suite répond aux goulots d'étranglement critiques liés à l'adaptation des capteurs et au déploiement fiable des modèles dans des secteurs allant de la conduite autonome à la robotique chirurgicale.

Ce qui s'est passé

Le lancement repose sur deux composants principaux : le Framework Cosmos open source et les microservices optimisés Cosmos NIM. Le Framework fournit des outils modulaires pour tout le cycle de vie du développement des modèles du monde, y compris l'entraînement, l'apprentissage par renforcement, l'optimisation et l'inférence. Il prend en charge un écosystème croissant de modèles, notamment Cosmos 3, NVIDIA Alpamayo, GR00T, Qwen et pi0.5, permettant aux développeurs de s'entraîner sur divers types de données tels que le texte, la vidéo, l'audio et les séquences d'actions.

Parallèlement, NVIDIA a publié des recettes de simulation spécifiques pour Cosmos 3 Nano. Ces recettes permettent la génération de vidéos synchronisées provenant de caméras et d'observations LiDAR pour des scénarios de véhicules autonomes, de robotique et de chirurgie. En fournissant des points de contrôle (checkpoints) publiés prêts à l'emploi, l'entreprise vise à abaisser la barrière à l'entrée pour les ingénieurs qui doivent évaluer les modèles face à des capteurs personnalisés et à des espaces d'action sans avoir à construire des moteurs physiques complexes depuis zéro.

Du côté du déploiement, les microservices Cosmos NIM offrent un service accéléré par GPU via des API applicatives. Ces conteneurs sont conçus pour réduire l'utilisation mémoire et augmenter la vitesse d'inférence grâce à des techniques telles que la quantification et le décodage spéculatif. Cette double approche permet aux équipes d'itérer rapidement sur l'architecture du modèle à l'aide du Framework tout en s'appuyant sur NIM pour un service de production stable et haute performance.

Comment cela fonctionne

Le Framework Cosmos opère en intégrant directement les compétences des agents dans le flux de travail de développement. Les développeurs peuvent utiliser ces compétences pour automatiser des tâches telles que le post-entraînement, la validation des jeux de données et l'évaluation. Le framework prend en charge diverses voies d'apprentissage par renforcement, incluant l'optimisation des préférences hors ligne (DPO) et l'RL en ligne avec récompenses basées sur des règles (GRPO). Il facilite également la distillation et la quantification des modèles, permettant aux ingénieurs de réduire la taille des modèles ou le nombre d'étapes de génération tout en maintenant la qualité. L'inférence peut être exécutée à l'aide de bibliothèques standard comme PyTorch et Hugging Face Diffusers, ou de backends optimisés comme vLLM et TRT-LLM.

Pour la simulation, la plateforme utilise les World Scenario Maps (WSM) pour contrôler les éléments de scène tels que les voies, les objets et les panneaux de signalisation. Dans les flux de travail des véhicules autonomes, des modèles comme Cosmos3-Nano-Transfer-Auto génèrent des clips multi-vues en débruitant des séquences entières simultanément, adapté à la génération de données synthétiques hors ligne. À l'inverse, Cosmos3-Nano-Sim-Auto utilise une distillation causale à peu d'étapes pour générer des observations de manière autorégressive. Cela permet une évaluation en boucle fermée où les actions d'une politique mettent à jour le scénario en temps réel, créant une boucle de rétroaction dynamique entre l'agent IA et l'environnement simulé.

Cosmos NIM assure le gros œuvre de l'inférence en production. Il emploie le routage conscient du cache KV et l'élagage des tokens pour maximiser l'utilisation des ressources de calcul. Sur les GPU NVIDIA H200, le décodage spéculatif offre des accélérations moyennes d'environ 2 à 3 fois. Le système sélectionne automatiquement les configurations en fonction du GPU cible, équilibrant la latence pour les tâches interactives contre le débit pour le traitement par lots. Les exigences mémoire sont strictement définies, avec des options de quantification FP8 et de déchargement (offloading) disponibles pour faire tenir les plus grands modèles sur le matériel disponible.

Détails clés

• Le Framework Cosmos prend en charge l'entraînement et l'inférence pour les modèles Cosmos 3, Alpamayo, GR00T, Qwen et pi0.5.
• Cosmos3-Nano-Transfer-Auto génère jusqu'à 400 images en résolution 480p ou 720p à 30 fps pour les données synthétiques hors ligne.
• Le décodage spéculatif dans Cosmos NIM atteint environ 2 à 3 fois d'accélération sur les GPU H200 par rapport à l'inférence standard.
• La génération avec Cosmos3-Nano nécessite 58 Go de VRAM en BF16, réductible à 44 Go en FP8, ou 31 Go avec déchargement.
• Les modèles de simulation chirurgicale comme Cosmos3-H-Dreams permettent des tests en temps réel et en boucle fermée des politiques utilisant la cinématique robotique live.
• Les conteneurs NIM fournissent des mises à jour trimestrielles pour les fonctionnalités, les optimisations et la sécurité, avec une sélection automatique de configuration pour les GPU pris en charge.

Pourquoi c'est important

Pour les ingénieurs logiciels développant une IA physique, l'écart entre l'entraînement d'un modèle et son déploiement dans un environnement réaliste a traditionnellement été large et parsemé de problèmes de compatibilité. Le Framework Cosmos comble ce fossé en offrant des recettes standardisées pour l'adaptation des capteurs. Au lieu d'écrire du code personnalisé pour aligner les données LiDAR avec les flux vidéo, les développeurs peuvent utiliser des agents préconstruits pour gérer la synchronisation et la validation. Cela réduit la charge d'ingénierie nécessaire pour créer des jeux de données synthétiques haute fidélité, essentiels pour entraîner des systèmes de perception robustes.

L'introduction de microservices NIM optimisés déplace également l'accent de la gestion de l'infrastructure vers la logique applicative. En conteneurisant le moteur d'inférence avec des optimisations intégrées telles que la quantification et la mise en cache, NVIDIA supprime le besoin pour les équipes d'ajuster manuellement les paramètres de performance pour différentes architectures de GPU. Cela est particulièrement précieux pour les startups comme pour les équipes d'entreprise, car cela garantit que les modèles fonctionnent efficacement sur le matériel disponible sans profilage extensif par essais et erreurs.

De plus, la capacité de simuler des interactions physiques complexes, telles que la déformation des tissus en chirurgie ou des scénarios de trafic multi-agents, sans modélisation physique explicite représente un saut significatif. La simulation générative apprend les dynamiques visuelles directement à partir des données, permettant des environnements de test plus réalistes et variés. Cette capacité permet une évaluation plus sûre et plus approfondie des politiques IA avant qu'elles n'interagissent avec le matériel physique, réduisant les risques et accélérant les cycles d'itération.

Ce que vous pouvez faire

• Téléchargez le Framework Cosmos depuis le dépôt pour accéder aux compétences des agents pour l'entraînement, le post-entraînement et le dépannage.
• Exécutez la recette Cosmos3-Nano-Transfer-Auto en utilisant les points de contrôle d'exemple fournis pour générer des données vidéo et LiDAR synchronisées.
• Évaluez la mémoire GPU actuelle par rapport au tableau des exigences VRAM publié pour sélectionner la stratégie de quantification appropriée.
• Lancez un conteneur Cosmos NIM en utilisant Docker et votre clé API NGC pour tester l'inférence accélérée sur votre machine locale.
• Utilisez le guide Sim-Auto Interactive Drive pour configurer des simulations en boucle fermée pour l'évaluation des politiques de véhicules autonomes.
• Explorez les pipelines d'apprentissage par renforcement, tels que DPO et GRPO, pour affiner les modèles sur vos jeux de données propriétaires spécifiques.