NVIDIA、インタラクティブな世界シミュレーション向けのオープンCosmos 3モデルを公開

NVIDIAは、Cosmos 3モデルファミリーの下で4つの新しいオープンウェイトチェックポイントを追加し、Cosmosワールドモデル開発プラットフォームを拡大しました。2026年11月初頭にリリースされたこれらのモデルは、研究者やエンジニア向けに、インタラクティブな世界シミュレーションや、マルチセンサー・マルチビューのドライビングシーンを生成するために設計されています。

このリリースは、高忠実度かつ制御可能な合成環境を必要とする自律走行車やロボティクス分野の開発者を対象としています。OpenMDW1.1ライセンスの下で重みを公開することで、NVIDIAは特定のセンサー構成やドメインへのモデル適応のための共通基盤を提供することを目指しています。

何が起きたか

今回のアップデートでは、Cosmos 3 Nanoアーキテクチャに基づく4つの具体的な事後学習済み例が導入されました。各モデルには160億個の学習可能パラメータが含まれています。これらのチェックポイントは単なる静的な動画生成器ではなく、観測値とアクションがリアルタイムで互いに影響し合うインタラクティブなシミュレーション用に構築されています。

最初の2つのモデルは自律走行に焦点を当てています。Cosmos3-Nano-Transfer-Autoは、天候、照明、時間帯など多様な条件下的なマルチビュードライビングデータを生成します。カメラとLiDAR（ライダー）の観測値を同期してサポートしており、開発者が道路レイアウトや交通信号の変化に対して運転ポリシーがどのように反応するかを研究できるようにします。2番目のドライビングモデルであるCosmos3-Nano-Sim-Autoは、高速ストリーミング用に最適化された因果的蒸留変種です。生成された履歴と更新されたコントロールを使用して、同期されたビデオとLiDARデータの連続的なチャンクを生成し、長いインタラクティブなロールアウトを可能にします。

残りの2つのモデルは、一般的なロボティクスおよびシミュレーター統合に対応しています。Cosmos3-Nano-Sim-Transferは、物理シミュレーターからの空間コントロール（深度マップやセグメンテーションマスクなど）とテキストプロンプトをフォトリアリスティックなビデオに変換します。これにより、AIが視覚的な外観を生成する一方で、物理状態は従来のシミュレーターに基づいたままとなります。最後に、Cosmos3-Nano-Sim-Bimanualは、ロボットアクションから直接ビデオ観測値を予測し、特定のロボットのエンボディメントに対するインタラクティブな両腕シミュレーションをサポートします。

仕組み

これらのモデルは、別々のテキスト処理ネットワークと視覚生成ネットワークをアテンションメカニズムを通じて接続するMixture-of-Transformers (MoT) バックボーンに依存しています。システムは「潜在表現（latents）」と呼ばれる圧縮されたビデオ表現上で動作し、各潜在時間ステップは4枚のRGBフレームに対応します。ビデオを生成するため、モデルは時間的因果アテンションを使用します。これにより、利用可能な履歴と現在のコントロールを読み取りつつ、将来のターゲット観測値へのアクセスをブロックすることができます。キー/バリューキャッシュはアテンション情報を保持し、 subsequent predictions（後続の予測）の速度を向上させます。

トレーニングプロセスは、品質と推論速度のバランスを取るために設計された4段階のレシピに従います。ステージ0では、記録されたクリップからドメイン固有のコントロールからビデオへの変換関係を学ぶための双方向適応が行われます。ステージ1では、教師強制（teacher forcing）を使用して以前の観測値からチャンクを予測します。ステージ2では、整合性蒸留（consistency distillation）が適用され、凍結された教師モデルが学生モデルを訓練し、各チャンクをわずか4回のノイズ除去ステップで生成するようにします。最終ステージである自己強制（self-forcing）では、モデル自身の生成履歴上で訓練が行われます。このステップは重要であり、モデル自身の誤差にさらすことで、小さな誤予測が長いインタラクティブシーケンス中に重大なアーティファクトへと複合的に蓄積されるのを防ぎます。

主要な詳細

• すべての4つのモデルは、160億個の学習可能パラメータを持つCosmos 3 Nanoアーキテクチャに基づいています。
• モデルはOpenMDW1.1ライセンスの下でリリースされており、商用および非商用の両方の使用が許可されています。
• Cosmos3-Nano-Transfer-Autoは、フィッシュアイを含む最大11のカメラビューにわたるRGBとLiDARの同時生成をサポートします。
• Cosmos3-Nano-Sim-Autoは、高速ストリーミングのために少数ステップのノイズ除去でビデオチャンクを生成するために因果的蒸留を使用します。
• Cosmos3-Nano-Sim-Bimanualは、64値アクションスキーマを使用してYAMおよびAgiBotエンボディメント向けのインタラクティブな両腕シミュレーションをサポートします。
• 推論にはLinux、NVIDIA GPU、Docker、およびNVIDIA Container Toolkitが必要であり、GB200ハードウェアでのテストが実施されました。

なぜ重要なのか

自律走行車やロボットを構築するエンジニアにとって、現実世界のトレーニングデータの収集はコストが高く、危険を伴い、範囲も限られています。これらのオープンウェイトモデルにより、チームは環境変数に対する精密な制御のもとで大量の合成データを生成できます。視覚データをLiDARや物理コントロールと同期させることで、開発者はラボを出ることなく、稀な気象条件や複雑な交通シナリオなどのエッジケースをテストできます。この機能は、展開前に安全クリティカルなシステムを検証するために不可欠です。

リリースのオープンな性質は、ワールドモデル研究への参入障壁も低減します。ゼロから生成モデルを構築する代わりに、チームはこれらのベース重みを特定のセンサー構成や運用ドメインに適応させることができます。提供されている事後学習レシピは、オフラインデータ生成からリアルタイムのインタラクティブシミュレーションへの明確な道筋を示しています。この標準化は、コミュニティが手法を比較し、改善点を提供することを助け、より応答的で正確なシミュレーション世界の開発を加速させます。

できること

• Hugging Faceから4つの新しいチェックポイントをダウンロードし、特定のドメイン向けの合成データ生成を試験してください。
• Cosmos3-Nano-Transfer-Autoを使用して、独自のカメラレイアウトとLiDAR構成に合わせてモデルを適応させてください（独自データを利用）。 proprietary data.
• 因果的トレーニングおよび蒸留パイプラインを実装し、適応させたモデルをインタラクティブシミュレーション用の高速ストリーミング変種に変換してください。
• Cosmos3-Nano-Sim-Transferを既存の物理シミュレーターと統合し、深度およびセグメンテーションコントロールからフォトリアリスティックなビジュアルをレンダリングしてください。
• 公開されたスキーマに従って正規化されたアクションシーケンスを提供することで、ロボットマニピュレーションタスク向けにCosmos3-Nano-Sim-Bimanualをテストしてください。
• 長時間のトレーニング実行にコミットする前に、保持エピソード（held-out episodes）でモデル品質を評価し、実行と収束を確認してください。