NVIDIA Cosmos、物理AIのシミュレーションとデプロイを簡素化

NVIDIAは、世界基盤モデル（World Foundation Models）と専門的な開発ツールを通じて、物理AIの開発を加速するための包括的なプラットフォーム「Cosmos」を導入しました。2026年11月初旬にリリースされたこのスイートは、自動運転から手術用ロボティクスに至るまで、さまざまな業界におけるセンサー適応や信頼性の高いモデルデプロイに関する重要なボトルネックに対応しています。

何が起きたか

今回の発表の中心となるのは、オープンソースの「Cosmos Framework」と、最適化された「Cosmos NIMマイクロサービス」の2つの主要コンポーネントです。Frameworkは、訓練、強化学習、最適化、推論など、世界モデル開発のライフサイクル全体をカバーするモジュール型ツールを提供します。Cosmos 3、NVIDIA Alpamayo、GR00T、Qwen、pi0.5など、成長中のエコシステム内のモデルをサポートしており、テキスト、動画、音声、行動シーケンスなど多様なデータタイプでの訓練が可能になります。

同時に、NVIDIAはCosmos 3 Nano向けの具体的なシミュレーションレシピも公開しました。これらのレシピにより、自動運転車、ロボティクス、手術などのシナリオにおいて、同期されたカメラ映像とLiDAR観測データの生成が可能になります。すぐに実行可能なチェックポイントを公開することで、複雑な物理エンジンをゼロから構築することなく、カスタムセンサーや行動空間に対してモデルを評価する必要のあるエンジニアの参入障壁を下げることを目指しています。

デプロイ面では、Cosmos NIMマイクロサービスがアプリケーションAPI経由でGPUアクセラレーションによるサービングを提供します。これらのコンテナは、量子化や投機的デコーディングなどの技術を用いてメモリ使用量を削減し、推論速度を向上させるよう設計されています。この二重のアプローチにより、チームはFrameworkを使ってモデルアーキテクチャを迅速に反復改善しつつ、安定かつ高性能な本番環境でのサービングにはNIMを利用することが可能になります。

仕組み

Cosmos Frameworkは、エージェントスキルを開発ワークフローに直接統合して動作します。開発者はこれらのスキルを使用して、ポストトレーニング、データセット検証、評価などのタスクを自動化できます。フレームワークは、オフライン選好最適化（DPO）やルールベース報酬を用いたオンライン強化学習（GRPO）など、 various な強化学習パスをサポートしています。また、モデル蒸留や量子化も促進し、エンジニアが品質を維持しながらモデルサイズを縮小したり、生成ステップを減らしたりできるようにします。推論は、PyTorchやHugging Face Diffusersなどの標準ライブラリ、またはvLLMやTRT-LLMなどの最適化バックエンドを使用して実行できます。

シミュレーションにおいては、プラットフォームはWorld Scenario Maps (WSM)を使用し、レーン、オブジェクト、交通標識などのシーン要素を制御します。自動運転車のワークフローでは、Cosmos3-Nano-Transfer-Autoなどのモデルが、シーケンス全体を一度にノイズ除去することでマルチビュークリップを生成し、オフラインでの合成データ生成に適しています。一方、Cosmos3-Nano-Sim-Autoは因果関係に基づく少数ステップ蒸留を使用し、自己回帰的に観測データを生成します。これにより、ポリシーの行動がリアルタイムでシナリオを更新するクローズドループ評価が可能になり、AIエージェントとシミュレーション環境の間で動的なフィードバックループが形成されます。

Cosmos NIMは、本番環境での推論という重い処理を担当します。計算利用率を最大化するために、KVキャッシュ対応ルーティングやトークンプルーニングを採用しています。NVIDIA H200 GPU上では、投機的デコーディングにより平均約2〜3倍の高速化を実現します。システムはターゲットGPUに基づいて設定を自動的に選択し、インタラクティブなタスクに対するレイテンシとバッチ処理に対するスループットのバランスを取ります。メモリ要件は厳密に定義されており、FP8量子化やオフローディングオプションにより、より大きなモデルを利用可能なハードウェアに適合させることができます。

主要な詳細

• Cosmos Frameworkは、Cosmos 3、Alpamayo、GR00T、Qwen、pi0.5モデルの訓練および推論をサポートします。
• Cosmos3-Nano-Transfer-Autoは、オフライン合成データ用に480pまたは720p解像度で最大400フレームを30fpsで生成します。
• Cosmos NIMにおける投機的デコーディングは、標準推論と比較してH200 GPU上で約2〜3倍の高速化を達成します。
• Cosmos3-Nanoでの生成にはBF16で58 GiBのVRAMが必要ですが、FP8では44 GiB、オフローディング併用では31 GiBまで削減可能です。
• Cosmos3-H-Dreamsなどの手術シミュレーションモデルは、ライブのロボット運動学を用いたポリシーのリアルタイム・クローズドループテストを可能にします。
• NIMコンテナは機能、最適化、セキュリティに関する四半期ごとのアップデートを提供し、サポートされているGPUに対して設定の自動選択を行います。

なぜ重要なのか

物理AIを構築するソフトウェアエンジニアにとって、モデルの訓練と現実的な環境へのデプロイの間のギャップは、従来から広く、互換性問題で満ちていました。Cosmos Frameworkは、センサー適応のための標準化されたレシピを提供することでこのギャップを埋めます。LiDARデータとカメラフィードを整合させるためにカスタムコードを書く代わりに、開発者は事前構築されたエージェントを使用して同期と検証を処理できます。これにより、堅牢な知覚システムの訓練に不可欠な高忠実度の合成データセットを作成するために必要なエンジニアリングオーバーヘッドが削減されます。

最適化されたNIMマイクロサービスの導入は、インフラ管理からアプリケーションロジックへと焦点を移すものでもあります。量子化やキャッシュなどの組み込み最適化を備えた推論エンジンをコンテナ化することで、NVIDIAはチームが異なるGPUアーキテクチャに対してパフォーマンスパラメータを手動で調整する必要を排除します。これはスタートアップにもエンタープライズチームにも特に価値があり、広範な試行錯誤によるプロファイリングなしに、利用可能なハードウェア上でモデルが効率的に動作することを保証します。

さらに、手術における組織の変形やマルチエージェントの交通シナリオなど、複雑な物理的相互作用を明示的な物理モデリングなしにシミュレートできる能力は、大きな飛躍を表しています。生成型シミュレーションは視覚的動態をデータから直接学習するため、より現実的で多様なテスト環境が可能になります。この機能により、AIポリシーが物理ハードウェアとやり取りする前に、リスクを低減し反復サイクルを加速させながら、より安全かつ徹底した評価が可能になります。

できること

• リポジトリからCosmos Frameworkをダウンロードし、訓練、ポストトレーニング、トラブルシューティング用のエージェントスキルにアクセスしてください。
• 提供されたサンプルチェックポイントを使用してCosmos3-Nano-Transfer-Autoレシピを実行し、同期された動画とLiDARデータを生成してください。
• 公開されているVRAM要件テーブルと現在のGPUメモリを比較し、適切な量子化戦略を選択してください。
• DockerとNGC APIキーを使用してCosmos NIMコンテナを起動し、ローカルマシンでアクセラレーションされた推論をテストしてください。
• Sim-Auto Interactive Driveガイドを使用して、自動運転車ポリシー評価のためのクローズドループシミュレーションを設定してください。
• DPOやGRPOなどの強化学習パイプラインを検討し、独自の専有データセットでモデルをファインチューニングしてください。