NVIDIA lanza los modelos abiertos Cosmos 3 para simulación interactiva de mundos

NVIDIA ha ampliado su plataforma de desarrollo de modelos de mundo Cosmos con cuatro nuevos checkpoints de pesos abiertos bajo la familia de modelos Cosmos 3. Lanzados a principios de noviembre de 2026, estos modelos están diseñados para generar simulaciones de mundos interactivas y escenas de conducción multisensoriales y multivista para investigadores e ingenieros.

El lanzamiento está dirigido a desarrolladores que trabajan en conducción autónoma y robótica y que necesitan entornos sintéticos de alta fidelidad y controlables. Al hacer públicos los pesos bajo la licencia OpenMDW1.1, NVIDIA busca proporcionar una base compartida para adaptar los modelos a configuraciones específicas de sensores y dominios.

Qué ha ocurrido

La actualización introduce cuatro ejemplos específicos post-entrenados de la arquitectura Cosmos 3 Nano, cada uno con 16 mil millones de parámetros entrenables. Estos checkpoints no son simplemente generadores de vídeo estáticos, sino que están construidos para la simulación interactiva donde las observaciones y las acciones se influyen mutuamente en tiempo real.

Los dos primeros modelos se centran en la conducción autónoma. Cosmos3-Nano-Transfer-Auto genera datos de conducción multivista con condiciones variadas de clima, iluminación y hora del día. Admite observaciones sincronizadas de cámara y LiDAR, lo que permite a los desarrolladores estudiar cómo las políticas de conducción responden a cambios en el diseño de carreteras y señales de tráfico. El segundo modelo de conducción, Cosmos3-Nano-Sim-Auto, es una variante destilada causalmente optimizada para streaming rápido. Genera trozos sucesivos de datos sincronizados de vídeo y LiDAR utilizando historial generado y controles actualizados, lo que habilita despliegues interactivos prolongados.

Los otros dos modelos abordan la robótica general y la integración con simuladores. Cosmos3-Nano-Sim-Transfer convierte controles espaciales desde un simulador físico, como mapas de profundidad o máscaras de segmentación, junto con indicaciones de texto, en vídeo fotorrealista. Esto permite que la apariencia visual sea generada por IA mientras que el estado físico permanece anclado en un simulador tradicional. Finalmente, Cosmos3-Nano-Sim-Bimanual predice observaciones de vídeo directamente a partir de acciones de robot, apoyando la simulación interactiva de dos brazos para implementaciones robóticas específicas.

Cómo funciona

Estos modelos dependen de una columna vertebral Mixture-of-Transformers (MoT) que conecta redes separadas de procesamiento de texto y generación visual mediante mecanismos de atención. El sistema opera sobre representaciones de vídeo comprimidas llamadas latentes, donde cada paso temporal latente corresponde a cuatro fotogramas RGB. Para generar vídeo, el modelo utiliza atención temporal-causal, lo que le permite leer el historial disponible y los controles actuales mientras bloquea el acceso a futuras observaciones objetivo. Una caché de clave/valor retiene información de atención para acelerar las predicciones subsiguientes.

El proceso de entrenamiento sigue una receta de cuatro etapas diseñada para equilibrar la calidad con la velocidad de inferencia. La Etapa 0 implica adaptación bidireccional para aprender relaciones de control-a-vídeo específicas del dominio a partir de clips grabados. La Etapa 1 usa teacher forcing para predecir trozos a partir de observaciones anteriores. La Etapa 2 aplica destilación de consistencia, donde un modelo maestro congelado entrena a un modelo estudiante para generar cada trozo en solo cuatro pasos de denoising. La etapa final, self-forcing, entrena al modelo sobre su propio historial generado. Este paso es crítico porque expone al modelo a sus propios errores, evitando que pequeñas predicciones erróneas se acumulen en artefactos mayores durante secuencias interactivas largas.

Detalles clave

• Los cuatro modelos se basan en la arquitectura Cosmos 3 Nano con 16 mil millones de parámetros entrenables.
• Los modelos se publican bajo la licencia OpenMDW1.1, que permite tanto uso comercial como no comercial.
• Cosmos3-Nano-Transfer-Auto admite la generación conjunta de RGB y LiDAR en hasta 11 vistas de cámara, incluyendo lentes ojo de pez.
• Cosmos3-Nano-Sim-Auto utiliza destilación causal para generar trozos de vídeo en denoising de pocos pasos para streaming rápido.
• Cosmos3-Nano-Sim-Bimanual admite la simulación interactiva de dos brazos para implementaciones YAM y AgiBot utilizando un esquema de acción de 64 valores.
• La inferencia requiere Linux, una GPU NVIDIA, Docker y el NVIDIA Container Toolkit, con pruebas realizadas en hardware GB200.

Por qué importa

Para los ingenieros que construyen vehículos autónomos o robots, recopilar datos de entrenamiento del mundo real es costoso, peligroso y limitado en alcance. Estos modelos de pesos abiertos permiten a los equipos generar grandes cantidades de datos sintéticos con control preciso sobre las variables ambientales. Al sincronizar los datos visuales con LiDAR y controles físicos, los desarrolladores pueden probar casos límite, como condiciones climáticas raras o escenarios de tráfico complejos, sin salir del laboratorio. Esta capacidad es esencial para validar sistemas críticos de seguridad antes del despliegue.

La naturaleza abierta del lanzamiento también reduce la barrera de entrada para la investigación de modelos de mundo. En lugar de construir modelos generativos desde cero, los equipos pueden adaptar estos pesos base a sus configuraciones específicas de sensores y dominios operativos. Las recetas de post-entrenamiento proporcionadas ofrecen un camino claro desde la generación de datos offline hasta la simulación interactiva en tiempo real. Esta estandarización ayuda a la comunidad a comparar métodos y contribuir con mejoras, acelerando el desarrollo de mundos simulados más responsivos y precisos.

Qué puedes hacer

• Descarga los cuatro nuevos checkpoints desde Hugging Face para experimentar con la generación de datos sintéticos para tu dominio específico.
• Usa Cosmos3-Nano-Transfer-Auto para adaptar el modelo a tu propia disposición de cámaras y configuración de LiDAR utilizando tus datos propietarios.
• Implementa el pipeline de entrenamiento causal y destilación para convertir los modelos adaptados en variantes de streaming rápido para simulación interactiva.
• Integra Cosmos3-Nano-Sim-Transfer con tu simulador físico existente para renderizar visuales fotorrealistas a partir de controles de profundidad y segmentación.
• Prueba Cosmos3-Nano-Sim-Bimanual para tareas de manipulación robótica proporcionando secuencias de acción normalizadas según el esquema publicado.
• Evalúa la calidad del modelo en episodios reservados para verificar la ejecución y la convergencia antes de comprometerte con entrenamientos largos.