vLLMとRDMAを使用して2台のDGX StationでGLM-5.3を提供
テンソル並列処理、RDMA、vLLMを用いて、7,530億パラメータのGLM-5.3モデルを2台のNVIDIA DGX Station間で提供する方法を解説する技術ガイド。
英語の原文から自動翻訳されました。
NVIDIAは、巨大なGLM-5.3 NVFP4混合専門家(MoE)モデルを2つの別々のハードウェアユニット間で提供するための詳細な技術チュートリアルを公開しました。このガイドでは、高速RDMA接続を通じて2台のNVIDIA DGX Stationをリンクし、単一の統一された推論エンドポイントを作成する方法を実演しています。このアプローチにより、エンジニアは1つのGPUのメモリ容量を超えるモデルを実行しつつ、低遅延のパフォーマンスを維持できます。
何が起きたか
GLM-5.3 NVFP4モデルはそのサイズのため、重大なインフラストラクチャ上の課題を提示します。総パラメータ数7,530億、トークンごとにアクティブ化されるパラメータ数400億という規模から、重みの保存には約464 GBのGPUメモリが必要になります。これは、単一のNVIDIA GB300 GPUに搭載されている252 GBのHBM3eメモリをはるかに超える需要です。これに対応するため、チュートリアルでは、GB300 GPUを搭載した2台のDGX Stationにまたがってモデルを分割し、重み保存用の利用可能メモリプールを事実上倍増させる方法を概説しています。
この解決策はテンソル並列処理に依存しており、モデルのテンソルを2つのGPU間に均等に分割します。一方のステーションはAPIをホストするプライマリノードとして機能し、もう一方はワーカーノードとして機能します。両者はConnectX-8 RDMAネットワークレール経由で通信し、ノード間のデータ転送がボトルネックにならないようにします。全体のセットアップはvLLMによって管理され、分散サービスをオーケストレーションして標準的なOpenAI互換エンドポイント経由で公開します。
この構成により、マルチトークン予測やFP8 KVキャッシュストレージなどの高度な推論最適化が可能になります。すべての重みをGPUメモリに保持しCPUオフロードを無効にすることで、システムは同時リクエストのスループットを最大化します。チュートリアルでは、ハードウェア検証、モデルダウンロード、サービス展開に関するステップバイステップの手順を提供し、フロンティア規模のモデルをローカルで実行するための再現可能な設計図を提供しています。
仕組み
テンソル並列処理は、このクロスノードデプロイを可能にする中核的なメカニズムです。各GPUで完全なモデルを複製する代わりに、システムはモデル内部のテンソルを2つのデバイスに分割します。リクエストが届くと、両方のGPUが操作の各自の部分について同時に計算を実行します。部分結果を帯域幅の高いRDMA接続経由で交換し、各トークンの計算を完了します。これにより、どちらのGPUも完全な464 GBチェックポイントを保持する必要がなく、それぞれが重みの約半分のみを保存すれば済みます。
vLLMは、両方のステーションで同一のコンテナを起動することにより、分散実行環境を管理します。ランクやマスターアドレスなど、各ノードの役割を定義するために特定の環境変数を使用します。システムはマルチトークン予測(MTP)を活用しており、これはモデルが1ステップで複数のトークンをドラフトする投機的デコーディング技法です。その後、vLLMはこれらのドラフトを完全なモデルに対して検証し、有効なシーケンスを受け入れることで生成速度を向上させます。さらに、KVキャッシュに対するFP8量子化により、標準的な16ビットストレージと比較してメモリ使用量が半分に削減され、長い会話中により多くのコンテキストを保持できるようになります。
主要な詳細
- GLM-5.3 NVFP4モデルは7,530億パラメータを持ち、トークンごとに400億がアクティブ化され、約464 GBのGPUメモリを必要とします。
- GB300 GPUを搭載した2台のNVIDIA DGX StationがConnectX-8 RDMAで接続され、計算負荷を共有します。
- ファクター2(TP=2)のテンソル並列処理により、モデルの重みと計算が2つのGPUに分割されます。
- vLLMが分散サービングを処理し、マルチトークン予測、FP8 KVキャッシュ、プレフィックスキャッシュなどの機能を有効にします。
- SPEED-Bench Codingデータセットでのベンチマークでは、同時実行数16の場合、ピークスループットが毎秒607.8トークンでした。
- 同時実行数32のようなより高いレベルでは、スループットは毎秒385.0トークンに低下し、平均レイテンシは453.5秒でした。
なぜ重要なのか
インフラストラクチャエンジニアやAI開発者にとって、このチュートリアルはモデルサイズと単一GPUメモリ制限の間で拡大しているギャップに対処します。混合専門家モデルが一般的になるにつれ、速度を犠牲にせずに複数のノード間で重みを効率的に分散できる能力は極めて重要です。RDMAの使用により、ノード間通信がリアルタイム推論をサポートするのに十分な速さを保ち、ネットワークベースの分散コンピューティングに伴うことが多いレイテンシペナルティを回避します。
実用的な影響はコストとリソース効率にも及びます。GPUメモリ利用率を最大化し、FP8キャッシュなどの技法を採用することで、組織は次世代の単一チップソリューションを待つのではなく、既存のハードウェア構成で大規模なモデルを提供できます。提供されたベンチマークは、負荷下でのパフォーマンスに対する現実的な期待値を示しており、同時ユーザーリクエストが通常である本番環境でのキャパシティ計画をチームが立てる助けとなります。
実施できること
- デプロイを試みる前に、「2台のDGX Stationを接続する」プレイブックを使用してハードウェアセットアップを検証してください。
- モデルチェックポイントのローカルコピーを保存するために、両方のステーションに少なくとも464 GBの空きディスクスペースがあることを確認してください。
- 自動ファイル転送とリモートコマンドを容易にするため、2つのステーション間でパスワードレスSSHアクセスを設定してください。
- 提供された環境ファイルテンプレートを使用し、各ノードのランク、IPアドレス、RDMAデバイス識別子を正しく設定してください。
- クラスター初期化を確実にするため、まずワーカーノードでvLLMサービスを起動し、続いてプライマリノードで起動してください。
- カスタムプロンプトでAIPerfベンチマークを実行し、特定のワークロード要件に対する最適な同時実行数レベルを決定してください。



