NVIDIA DGX Spark、ローカルでのフロンティアAIモデル実行のために8ノード構成に対応

NVIDIAはデスクトップ向けAIハードウェア戦略を拡大し、DGX Sparkシステムにおける8ノードクラスタ構成を公式にサポートしました。2026年10月のGTC Berlinで発表されたこのアップデートにより、統合メモリは1 TBまでスケールし、開発者が大規模なフロンティアクラスのモデルをローカルで実行できるようになります。今回のリリースには、集合通信およびマルチモデルオーケストレーション向けの新しいソフトウェア最適化が含まれており、大規模インフラストラクチャのパターンを個々のワークステーションにもたらすことを目指しています。

何が起きたか

核心的な進歩は、8台のDGX Sparkユニットを単一の整合性のあるクラスタとしてリンクできる点にあります。各ユニットは128 GBの統合メモリを提供するため、8ノード構成では合計1 TBのアドレス可能メモリが得られます。この容量により、従来はクラウドベースのデータセンターが必要だったZ.ai製のフルGLM 5.3（753Bパラメータ）モデルなどのローカル実行が可能になりました。NVIDIAによれば、この構成ではGLM 5.3 Flashバリアントを約80トークン/秒で提供でき、フロンティアアーキテクチャを用いたインタラクティブな開発をオンプレミスで実現できます。

これらのクラスタを管理するために、年末までにNVIDIA Syncにデバイス管理およびセットアップ用のCluster Assistantサポートが組み込まれる予定です。ハードウェアは低遅延のConnectX-7ネットワークインターフェースカードと、RoCE（RDMA over Converged Ethernet）に依存しており、ノード間でのテンソル交換を処理します。このネットワーク基盤は、柔軟なワークロード分割のためのスイッチ接続トポロジーと、コスト効率の高いセットアップのための直接リング接続の両方をサポートしています。

仕組み

重要なソフトウェア革新の一つは、テンソル並列デコード操作中の遅延を削減するために設計されたSpark最適化型集合バックエンド「RoCEnante」です。標準的なリングall-reduceアルゴリズムでは、データが隣接するランク間で順次通過するため、小さなメッセージに対して遅延が発生することがあります。RoCEnanteはall-to-all交換を使用し、各ランクが入力を他のすべてのランクと直接共有した後、ローカルで減算（リダクション）を行います。このアプローチにより、中程度の数のランクでは通信ステップが最小限に抑えられますが、総データ移動量は増加します。これはFlashInferにマージされており、起動テストが失敗した場合は標準のNVIDIA Collective Communications Library (NCCL) にフォールバックします。

ワークロード管理については、NVIDIA NeMo Switchyardが共有クラスタ上でのマルチモデルオーケストレーションを可能にします。OpenBMBのMiniCPM5 2Bのような軽量分類器が受信リクエストを検査し、適切なモデルプールへルーティングします。単純なタスクはより小さく高速なモデルへ、複雑なクエリはQwen3.8 Flash Nextのようなより大きなモデルへ振り分けられます。このルーティングは、独立したモデルグループに必要なany-to-any接続性を提供するスイッチ接続クラスタ上で発生します。システムはYAMLベースのポリシーファイルを使用しており、開発者は特定のニーズに基づいてトラフィック分割をチューニングできます。

主要な詳細

• 8つのDGX Sparkノードは1 TBの統合メモリを提供し、753BパラメータのGLM 5.3モデルのローカル実行を可能にします。
• RoCEnanteバックエンドは、スイッチ接続トポロジーにおいて、8ノード時に4.43倍のデコード速度向上を実現します（使用しない場合の3.05倍と比較）。
• Qwen3.8-27Bのデコードスループットは、1ノードで約12トークン/秒から、8ノードで52トークン/秒へとスケールします。
• NeMo Switchyardは、ほとんどのトラフィックをより小さいモデルへルーティングすることで、ツール使用ベンチマークでの品質を維持しつつ、集約スループットを最大3倍まで向上させることができます。
• 8ノードにわたるnanochatモデルの事前学習では、97.4%のスケーリング効率で7.79倍の速度向上を達成し、ほぼ線形のパフォーマンスを示しています。
• 物理的なリングトポロジーは4ノード推論向けの低コストオプションを提供しますが、8ノードクラスタや分割割り当てにはスイッチが必要です。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、この進展はローカルハードウェアで可能なことの境界を変えます。753Bパラメータのモデルをローカルで実行することで、クラウドAPIに関連するデータ送信コストとレイテンシが排除され、機密データセットに関するプライバシー懸念にも対応できます。メモリを1 TBまでスケールできる能力により、チームはリモートインスタンスのプロビジョニングなしで、混合専門家（Mixture-of-Experts）アーキテクチャや大きなコンテキストウィンドウの実験を行えます。これによりフロンティアモデルへのアクセスが民主化され、制御された環境での迅速なイテレーションとデバッグが可能になります。

最適化された集合バックエンドとマルチモデルオーケストレーションツールの導入は、分散ローカルコンピューティングのエコシステムが成熟していることも示しています。開発者はもはや、複雑なネットワークスタックを手動で管理したり、コストとパフォーマンスのバランスを取るためのカスタムルーティングロジックを作成したりする必要はありません。SwitchyardやRoCEnanteのようなツールはこれらの複雑さを抽象化し、チームがインフラ調整ではなく、モデルの挙動やアプリケーションロジックに集中できるようにします。これにより、オンプレミスでの高性能AIクラスタ運用に伴うオーバーヘッドが削減されます。

できること

• モデル互換性ガイドを確認し、8ノードクラスタの1 TBメモリ制限内に収まるフロンティアモデルを特定してください。
• 提供されているネットワークガイドを使用して2ノードのDGX Sparkクラスタを設定し、スケールアップ前に分散ワークロードをテストしてください。
• サンプルYAMLポリシーを用いてNeMo Switchyardを実装し、複雑さに基づいて異なるサイズのモデル間でリクエストをルーティングしてください。
• vLLMを使用して現在の推論ワークロードを複数のSparkノードでベンチマークし、テンソル並列によるスループット向上を測定してください。
• GitHub上のnanochat事前学習コードを検討し、小規模モデルを一から訓練する際のほぼ線形のスケーリングがどのように適用されるかを理解してください。
• ハードウェアコストを削減するために、スイッチレスリングトポロジーが4ノード展開の要件を満たすかどうかを評価してください。