AIエージェントがプロンプトからポリシーまでロボットのシミュレーションワークフローを自動化

NVIDIAは、人工知能（AI）エージェントを用いてロボット訓練用のシミュレーション環境の作成を自動化する新しいワークフローを発表しました。2026年10月23日に公開されたこの技術的な詳細解説では、Hermes、Nemotron、Astraなどのツールがいかに連携し、単純なテキストプロンプトを「Microduck」という名前のロボット向けの完全機能付き障害物コースに変換するかを説明しています。このプロセスは高レベルな計画と低レベルな物理シミュレーション間のギャップを埋め、開発者がハードウェアにデプロイする前に、歩行制御ポリシーを完全にソフトウェア上で訓練できるようにします。

何が起きたか

この開発の核心は、NVIDIA RTX Sparkをローカル開発ハブとして使用することです。このセットアップでは、AIエージェントが人間の意図を技術的な実行ステップに変換する仲介者として機能します。ワークフローは、開発者がMicroduckのための障害物コースの構築など、望ましいタスクを記述したプロンプトを提供することで始まります。エージェントであるHermesとNVIDIA Nemotron 3.5 Boltがこのリクエストを分析し、構造化されたプロジェクト計画を生成します。この計画には、ロボットの能力調査、コースレイアウトの定義、必要なデジタルアセットのリストアップが含まれます。

計画が確立されると、エージェントのAstraが引き継ぎ、3Dシミュレーションアセットを作成します。Astraは参照画像を強化し、FreeCADでジオメトリをモデリングし、Blenderでマテリアルを適用します。これらのアセットはその後、Universal Scene Description（USD）ファイルとしてエクスポートされます。環境はNVIDIA Isaac Simで組み立てられ、レンダリングにはOmniverseライブラリ、物理モデリングにはNewtonを使用します。最後に、ロボットの動作はNVIDIA Isaac Labを使用して訓練されます。Isaac Labは数千の並列シミュレーションを実行し、転倒せずに歩き、障害物をナビゲートする方法をロボットに教えます。

仕組み

この技術は、専門化されたAIモデルとシミュレーションエンジンが順次連携するチェーンに依存しています。まず、大規模言語モデル（LLM）が自然言語プロンプトを解釈し、問題を管理可能なタスクに分解します。これにより、必要なオブジェクトとその相互作用の方法が特定されます。アセット作成のため、システムはプログラム的に画像編集およびコンピュータ支援設計（CAD）ツールを使用します。Astraは、生成されたオブジェクトの視覚的忠実性が初期コンセプトと一致しつつ、シミュレーションエンジンに対して物理的な正確性を維持することを保証します。

訓練は、大規模並列環境における強化学習を通じて行われます。NVIDIA Isaac Labは、単一のGPU上でMicroduckロボットの4,096インスタンスを同時に生成します。各インスタンスはシミュレーション物理エンジンであるNewtonと対話しており、Newtonは力、バランス、衝突をリアルタイムで計算します。ロボットはヘッドカメラの深度センサーと内部状態データから観測値を受け取ります。直立を保ち前方へ移動することに対する報酬に基づき、ポリシーはニューラルネットワークの重みを更新します。このループは何百万回も繰り返され、現実世界の試行よりもはるかに速く複雑な運動スキルを学習することを可能にします。

主要な詳細

• ローカルハブ: NVIDIA RTX Sparkは、計画およびローカル検証のための中央ワークステーションとして機能します。
• AIエージェント: HermesとNemotron 3.5 Boltは計画を担当し、Astraはアセット作成と環境組み立てを管理します。
• シミュレーションツール: NVIDIA Isaac Simはレンダリングとセンサーシミュレーションを担当し、Newtonは物理を管理します。
• 訓練規模: ポリシーは、NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU上の4,096個の並列環境を使用して訓練されます。
• アセットライブラリ: 開発者は、SimReady Central Libraryから2,000以上のアンゲートモデルを追加して、生成されたアセットを補完できます。
• Sim-to-Real準備: ワークフローには、Better Actuator Modelsとドメインランダム化が含まれており、物理デプロイメント用にポリシーを準備します。

なぜ重要なのか

ソフトウェアエンジニアとロボット開発者にとって、このワークフローはシミュレーション環境の設定に伴う摩擦を大幅に軽減します。従来、現実的なテストベッドの作成には手動による3Dモデリング、慎重な物理チューニング、そして広範なスクリプティングが必要でした。AIエージェントによってこれらのステップを自動化することで、チームはロボットの動作をより迅速に反復改善できます。テキスト記述から訓練済みポリシーへの統一パイプライン内での移行が可能になるため、コンピュータグラフィックスや物理エンジン設定に関する深い専門知識を持たない人々にとっても、新しいロボットタスクのプロトタイピングがアクセスしやすいものになります。

さらに、訓練段階と検証段階の分離により堅牢性が確保されます。クラウドまたは高性能ワークステーションでの大規模な訓練により、不均一な地形や予期しない障害物などのエッジケースの徹底的な探索が可能になります。RTX Spark上での最終ポリシーのローカル検証は、高価なハードウェアをリスクにさらす前にパフォーマンスを確認するための制御された環境を提供します。このアプローチはsim-to-realギャップを埋める助けとなり、シミュレーションで学習した動作がMicroduckのような物理ロボットへ効果的に転移することを保証します。

できること

• エミュレーション経由でRTX Spark上で実行するために、NVIDIA Isaac SimのWindows x86バイナリをダウンロードしてください。
• SimReady Central Libraryにアクセスし、独自のシミュレーション環境用の既製USDアセットを見つけてください。
• Isaac Labのドキュメントを確認し、強化学習のための報酬と観測値の定義方法を理解してください。
• Hugging Face上のMicroduck sim-to-realチュートリアルに従い、このワークフローを物理ロボットデプロイメント向けに適応させてください。
• Isaac Lab内のMicroduckサンプル環境で実験し、歩行制御ポリシーの訓練を練習してください。
• より現実的な訓練のために、Isaac Lab内のBetter Actuator Modelsを使用してサーボ応答遅延と機械的バックラッシュをシミュレートしてください。