NVIDIA Cosmos simplifica la simulación y el despliegue de la IA física

NVIDIA ha presentado Cosmos, una plataforma integral diseñada para acelerar el desarrollo de la IA física mediante modelos fundacionales del mundo y herramientas especializadas de desarrollo. Lanzado a principios de noviembre de 2026, este conjunto aborda cuellos de botella críticos en la adaptación de sensores y el despliegue fiable de modelos para industrias que van desde la conducción autónoma hasta la robótica quirúrgica.

Qué ha ocurrido

El lanzamiento se centra en dos componentes principales: el Cosmos Framework de código abierto y los microservicios optimizados Cosmos NIM. El Framework ofrece herramientas modulares para todo el ciclo de vida del desarrollo de modelos mundiales, incluyendo entrenamiento, aprendizaje por refuerzo, optimización e inferencia. Soporta un ecosistema creciente de modelos, como Cosmos 3, NVIDIA Alpamayo, GR00T, Qwen y pi0.5, permitiendo a los desarrolladores entrenar con diversos tipos de datos como texto, vídeo, audio y secuencias de acciones.

Simultáneamente, NVIDIA publicó recetas específicas de simulación para Cosmos 3 Nano. Estas recetas permiten generar vídeo sincronizado de cámaras y observaciones LiDAR para escenarios de vehículos autónomos, robótica y cirugía. Al proporcionar checkpoints publicados que funcionan inmediatamente, la empresa busca reducir las barreras para los ingenieros que necesitan evaluar modelos frente a sensores personalizados y espacios de acción sin tener que construir complejos motores de física desde cero.

En cuanto al despliegue, los microservicios Cosmos NIM ofrecen servicio acelerado por GPU a través de APIs de aplicación. Estos contenedores están diseñados para reducir el uso de memoria y aumentar la velocidad de inferencia mediante técnicas como la cuantificación y la decodificación especulativa. Este enfoque dual permite a los equipos iterar rápidamente sobre la arquitectura del modelo usando el Framework mientras confían en NIM para un servicio estable y de alto rendimiento en producción.

Cómo funciona

Cosmos Framework opera integrando habilidades de agentes directamente en el flujo de trabajo de desarrollo. Los desarrolladores pueden usar estas habilidades para automatizar tareas como el post-entrenamiento, la validación de conjuntos de datos y la evaluación. El framework soporta varias rutas de aprendizaje por refuerzo, incluyendo la optimización de preferencias offline (DPO) y el RL online con recompensas basadas en reglas (GRPO). También facilita la destilación de modelos y la cuantificación, permitiendo a los ingenieros reducir el tamaño de los modelos o los pasos de generación manteniendo la calidad. La inferencia puede ejecutarse utilizando bibliotecas estándar como PyTorch y Hugging Face Diffusers, o backends optimizados como vLLM y TRT-LLM.

Para la simulación, la plataforma utiliza Mapas de Escenarios Mundiales (WSM) para controlar elementos de escena como carriles, objetos y señales de tráfico. En los flujos de trabajo de vehículos autónomos, modelos como Cosmos3-Nano-Transfer-Auto generan clips multivista denoizando secuencias completas a la vez, adecuado para la generación offline de datos sintéticos. Por el contrario, Cosmos3-Nano-Sim-Auto utiliza destilación causal de pocos pasos para generar observaciones de forma autorregresiva. Esto permite una evaluación en bucle cerrado donde las acciones de una política actualizan el escenario en tiempo real, creando un bucle de retroalimentación dinámico entre el agente de IA y el entorno simulado.

Cosmos NIM asume la carga pesada de la inferencia en producción. Emplea enrutamiento consciente de KV-cache y poda de tokens para maximizar la utilización del cómputo. En GPUs NVIDIA H200, la decodificación especulativa ofrece aceleraciones medias de aproximadamente 2–3x. El sistema selecciona automáticamente configuraciones basándose en la GPU objetivo, equilibrando la latencia para tareas interactivas frente al throughput para procesamiento por lotes. Los requisitos de memoria están estrictamente definidos, con opciones de cuantización FP8 y descarga disponibles para ajustar modelos más grandes al hardware disponible.

Detalles clave

• Cosmos Framework soporta el entrenamiento y la inferencia para los modelos Cosmos 3, Alpamayo, GR00T, Qwen y pi0.5.
• Cosmos3-Nano-Transfer-Auto genera hasta 400 fotogramas a resolución 480p o 720p a 30 fps para datos sintéticos offline.
• La decodificación especulativa en Cosmos NIM logra aceleraciones de aproximadamente 2–3x en GPUs H200 en comparación con la inferencia estándar.
• Generar con Cosmos3-Nano requiere 58 GiB de VRAM en BF16, reducible a 44 GiB en FP8, o 31 GiB con descarga.
• Modelos de simulación quirúrgica como Cosmos3-H-Dreams permiten pruebas en tiempo real y en bucle cerrado de políticas usando cinemática de robots en vivo.
• Los contenedores NIM proporcionan actualizaciones trimestrales de funciones, optimizaciones y seguridad, con selección automática de configuración para GPUs soportadas.

Por qué importa

Para los ingenieros de software que construyen IA física, la brecha entre entrenar un modelo y desplegarlo en un entorno realista ha sido tradicionalmente amplia y llena de problemas de compatibilidad. Cosmos Framework cierra esta brecha ofreciendo recetas estandarizadas para la adaptación de sensores. En lugar de escribir código personalizado para alinear los datos LiDAR con las transmisiones de cámara, los desarrolladores pueden usar agentes pre-construidos para manejar la sincronización y la validación. Esto reduce la sobrecarga de ingeniería necesaria para crear conjuntos de datos sintéticos de alta fidelidad, esenciales para entrenar sistemas de percepción robustos.

La introducción de microservicios NIM optimizados también desplaza el foco de la gestión de infraestructura a la lógica de aplicación. Al contenerizar el motor de inferencia con optimizaciones integradas como la cuantificación y el caché, NVIDIA elimina la necesidad de que los equipos ajusten manualmente los parámetros de rendimiento para diferentes arquitecturas de GPU. Esto es particularmente valioso tanto para startups como para equipos empresariales, ya que asegura que los modelos funcionen eficientemente en el hardware disponible sin extensos perfiles de prueba y error.

Además, la capacidad de simular interacciones físicas complejas, como la deformación de tejidos en cirugía o escenarios de tráfico multiagente, sin modelado físico explícito representa un salto significativo. La simulación generativa aprende dinámicas visuales directamente de los datos, permitiendo entornos de prueba más realistas y variados. Esta capacidad habilita una evaluación más segura y exhaustiva de las políticas de IA antes de interactuar con hardware físico, reduciendo riesgos y acelerando los ciclos de iteración.

Qué puedes hacer

• Descarga el Cosmos Framework desde el repositorio para acceder a las habilidades de agentes para entrenamiento, post-entrenamiento y resolución de problemas.
• Ejecuta la receta Cosmos3-Nano-Transfer-Auto usando los checkpoints de muestra proporcionados para generar datos sincronizados de vídeo y LiDAR.
• Evalúa la memoria de tu GPU actual contra la tabla publicada de requisitos de VRAM para seleccionar la estrategia de cuantificación adecuada.
• Inicia un contenedor Cosmos NIM usando Docker y tu clave API de NGC para probar la inferencia acelerada en tu máquina local.
• Usa la guía Sim-Auto Interactive Drive para configurar simulaciones en bucle cerrado para la evaluación de políticas de vehículos autónomos.
• Explora los pipelines de aprendizaje por refuerzo, como DPO y GRPO, para afinar modelos con tus conjuntos de datos propietarios específicos.