NVIDIA Rubinアーキテクチャ、協調設計によりAI推論のスループットを最大化

NVIDIAは、ハードウェアとソフトウェアの緊密な協調設計を通じて、AI推論ワークロードの効率を最大化するための包括的な戦略を発表しました。2026年11月5日に公開されたこの技術詳細解説では、次世代のVera Rubin NVL72システムが、前世代のGB300と比較してメガワットあたり最大30倍のスループットをどのように達成するかを説明しています。この性能の飛躍は、GPUあたり288 GBのまま据え置かれているメモリ容量の増加によるものではなく、高帯域幅メモリ（HBM）の各バイトがどのように活用されるかを大幅に改善することによって実現されています。

何が起きたか

今回のアップデートで対処されている核心的な課題は、現代のAIファクトリーにおけるHBMのボトルネックです。モデルが大規模化し、コンテキストウィンドウが拡大するにつれて、HBMは最も高額かつ競合の激しいリソースとなっています。NVIDIAは、単にメモリを追加するだけでは不十分だと主張しており、代わりに各バイトがアイドル状態や冗長データの保存ではなく、トークン生成に直接貢献するように焦点を当てる必要があるとしています。同社は、メガワットあたりのエージェント型スループットの成長が単純な容量の成長よりも遥かに速いことを示し、アーキテクチャ上の優先事項が根本的に変化していることを実証しています。

これを解決するために、NVIDIAはGPUアーキテクチャ、インターコネクト、サービングソフトウェア、CPU、ストレージにまたがる5つの具体的な協調設計レバーを導入しました。これらのイノベーションは連携して、モデルフットプリントの削減、重み分布の最適化、KVキャッシュのフリート全体のリソースとしての管理、非アクティブなコンテキストに対するCPUメモリの活用、そしてポッド全体にわたるストレージ階層の拡張を実現します。その結果、複雑で長いコンテキストを持つエージェント型ワークフローを、より高い並行性と低いレイテンシで処理できるシステムが構築されます。

仕組み

最初のレバーはNVFP4であり、これは新しい精度フォーマットで、FP16と比較してモデル重みのフットプリントを約3.5分の1に、FP8と比較して約1.8分の1に削減します。2段階のスケーリングを用いた4ビット要素を使用することで、NVFP4は精度を維持しつつ、KVキャッシュやバッチサイズ拡大のために重要なHBM領域を解放します。このフォーマットはKVキャッシュ自体にも適用され、FP8と比較してフットプリントを最大50%削減することで、デバイス上に保持できるコンテキスト量を2倍にします。この削減により、デコード中のエビクション（退避）と帯域幅消費が最小限に抑えられます。

次に、TensorRT-LLMにおける広いエキスパート並列性は、混合専門家（MoE）モデルの重みを8台以上のGPUに分散させます。このアプローチにより、GPUあたりのキャッシュ用HBMが増加し、より多くのトークン間で重みを再利用することで演算強度が高まります。第3に、NVIDIA DynamoはKVキャッシュをフリート全体の共有リソースとして扱います。関連するコンテキストが既に存在する場所にリクエストを配置するKV認識ルーティング、プリフィルとデコードワークロードを分離するディスアグリゲートド・サービング、そしてNIXLライブラリを使用してGPU、CPU、ストレージ間でブロックを階層化するKV Cache Runnerを採用しています。

4番目と5番目のレバーは、メモリ階層をGPUの外へ拡張することに関わっています。NVIDIA Vera CPUは88個のOlympusコアと最大1.5 TBのLPDDR5Xメモリを搭載しており、NVLink-C2C経由で1.8 TB/sの一貫性のある接続でGPUとリンクされています。これにより、ツール呼び出し中に非アクティブなKVキャッシュをCPUメモリにステージングでき、HBMからのエビクションを防ぎます。最後に、NVIDIA CMXはBlueField-4 STXとSpectrum-Xネットワークに基づくポッドレベルのG3.5ストレージ階層を追加します。この階層により、ノード間でのKVキャッシュの共有と再利用が可能になり、単一のセッションやGPU障害を超えてコンテキストが存続することが保証されます。

主要な詳細

• NVFP4は精度を維持しながら、FP16比で約3.5分の1、FP8比で約1.8分の1までモデル重みのフットプリントを削減します。
• Vera Rubin NVL72は、GPUあたり同じ288 GBのHBMを搭載しながらも、GB300 NVL72のメガワットあたりスループットの最大30倍を提供します。
• 広いエキスパート並列性はMoEエキスパートを8台以上のGPUに分散させ、KVキャッシュ用のHBM可用性を増加させ、重み再利用を改善します。
• NVIDIA DynamoはKV認識ルーティングとディスアグリゲートド・サービングを可能にし、KVキャッシュをローカルGPUの成果物ではなくフリート全体のリソースとして扱います。
• Vera CPUは1.8 TB/sで接続された1.5 TBのLPDDR5Xメモリを提供し、ツール呼び出し中の非アクティブなKVキャッシュの効率的なオフロードを可能にします。
• NVIDIA CMXはBlueField-4 STXとSpectrum-Xを使用してG3.5ストレージ階層を導入し、Ethernet接続フラッシュを介したノード間のKVキャッシュ共有を可能にします。

なぜ重要なのか

インフラストラクチャーリーダーやMLエンジニアにとって、これらの進展は力技によるスケーリングから知的なリソース管理への移行を示唆しています。HBMコストの比例した増加なしに、より大きなコンテキストとより高い並行性を処理できる能力は、経済的に実行可能なエージェント型AIアプリケーションを展開するために不可欠です。重みとキャッシュのフットプリントを削減することで、組織は既存のハードウェア制約内でより複雑なモデルを実行したり、新しい展開において著しく高いスループットを達成したりすることができます。

推論パイプラインへのCPUおよびストレージ階層の統合は、システムのアーキテクチャ方法も変えます。開発者はGPUを孤立した計算ユニットとして見ることができなくなりました。代わりに、CPU間のメモリ一貫性アクセスと高速な共有ストレージネットワークを活用するシステムを設計する必要があります。この協調設計アプローチは、ツール呼び出し中のアイドル時間のペナルティを軽減し、メモリ圧力によって貴重なコンテキストが失われることを防ぎ、より応答性が高く効率的なAIエージェントにつながります。

実施できること

• 現在のモデルでNVFP4精度を評価し、メモリフットプリントを削減してバッチサイズを増やし、精度を犠牲にしないようにしてください。
• 大規模なMoEモデルを実行している場合は、TensorRT-LLMで広いエキスパート並列性を実装し、HBM使用量と演算強度を最適化してください。
• キャッシュヒット率を改善し再計算コストを削減するために、KV認識ルーティングとディスアグリゲートド・サービング向けにNVIDIA Dynamoを検討してください。
• ツール呼び出しや一時停止が多いワークロードの場合、特に非アクティブなKVキャッシュのステージングにCPUメモリを活用するアーキテクチャを検討してください。
• 長時間実行またはマルチエージェントセッションのためのノード間KVキャッシュ共有を可能にするため、NVIDIA CMXなどのポッドレベルのストレージソリューションを調査してください。
• 推論パイプラインにおけるキャッシュ最適化と重み圧縮の機会を特定するために、HBM使用率メトリクスを注意深く監視してください。