NVIDIA Run:ai のフラクショニングで Amazon EKS 上の GPU を共有する
オープンソースの NVIDIA Run:ai GPU Fractioning Operator を使用して、Amazon EKS 上の複数のポッド間で単一の A10G GPU を共有する方法を示す技術的な解説です。
英語の原文から自動翻訳されました。
Amazon Web Services は2026年11月19日、新たにオープンソース化された NVIDIA Run:ai ソフトウェアを使用して Amazon Elastic Kubernetes Service (EKS) で GPU 共有を実装する方法を詳述した技術ガイドを公開しました。この解説では、GPU Fractioning Operator に焦点を当てています。このオペレーターは、ポッドごとに厳格なメモリ制限を課すことで、複数のワークロードが単一の物理 GPU を共有できるようにします。このアプローチは、インタラクティブなノートブックや小規模な推論サービスなど、フル GPU 割り当てが非効率となるシナリオを対象としています。
何が起きたか
NVIDIA は2026年10月13日に、Run:ai プラットフォームのオープンソースリリースを発表しました。これを受けて AWS は、このスイートの特定の2つのコンポーネント、すなわち KAI Scheduler と GPU Fractioning Operator を Amazon EKS クラスターに統合する方法を示す検証済み実装ガイドをリリースしました。このガイドは、AI インフラストラクチャーにおける一般的なボトルネックに対処しています。それは、GPU に空きメモリがあるにもかかわらず、以前のジョブがデバイス全体を予約していたためにブロックされる状況です。
デモでは、NVIDIA A10G Tensor Core GPU を搭載した単一の Amazon EC2 g5.xlarge インスタンスを使用しています。標準的な構成では、利用可能な 23,028 MiB のメモリの一部しか使用していない場合でも、一度に1つのポッドのみがこの GPU にアクセスできます。GPU Fractioning Operator をインストールすることで、システムはソフトウェアベースの共有を可能にします。これにより、2つの別々のポッドが同じ物理 GPU 上で同時に実行され、それぞれが定義されたメモリ契約によって制約されます。
このソリューションは、特定のサポートハードウェアを必要とする Multi-Instance GPU (MIG) などのハードウェアレベルのパーティショニングとは異なります。代わりに、Multi-Process Service (MPS) を基盤としており、Kubernetes ネイティブのスケジューリングと強制力を追加しています。ガイドでは、この方法が MIG をサポートしない GPU や、硬直的なハードウェアパーティションよりも柔軟なメモリサイズ設定が好まれる場合に適していることを強調しています。
仕組み
コアメカニズムは、リソース割り当てを管理するために Kubernetes スケジューラーと統合される GPU Fractioning Operator に依存しています。GPU を単一のバイナリリソースとして公開する標準的なデバイスプラグインとは異なり、このオペレーターは「メモリ契約」という概念を導入します。各ポッドはデバイス全体ではなく、例えば 8 GiB といった特定の量の GPU メモリを要求します。その後、オペレーターはこれらの契約の合計が GPU の物理的制限を超えないように保証します。
内部では、システムは Node Resource Interface (NRI) を介して統合された fractiond というデーモンを使用しています。このコンポーネントは NVIDIA ドライバーと通信し、メモリ制限を強制してワークロードを分離します。また、MPS を活用して、異なるコンテナからの同時 CUDA プロセスが同じ GPU 上で実行できるようにします。MPS が計算の並行性を処理する一方で、オペレーターはスケジューリングロジックとメモリ強制を処理し、各ポッドの使用状況に関するメトリクスを提供します。
実装にはカスタムの Amazon Linux 2023 イメージが必要です。検証時点では、標準の EKS オプティマイズドイメージに必要な R615 ドライバーブランチが含まれていなかったためです。ドライババージョン 615.71.10 は、フラクショニング機能をサポートするために不可欠です。カスタムイメージが構築・展開されると、KAI Scheduler がポッド配置を引き継ぎ、互換性のあるメモリ要求を持つポッドが同じ GPU ノード上に共同配置されるようにします。
主要な詳細
- 検証済みハードウェア: ガイドは、us-east-2 リージョン内の g5.xlarge EC2 インスタンスにある NVIDIA A10G GPU でのセットアップを具体的に検証しています。
- ソフトウェアバージョン: テストでは、Amazon EKS バージョン 1.36、NVIDIA ドライバー 615.71.10、および GPU Fractioning Operator バージョン 0.1.7 が使用されています。
- メモリ契約: デモでは、2つのポッドがそれぞれ 8 GiB のメモリ制限を要求します。両方とも実際のメモリとして 6 GiB の割り当てに成功し、ランタイムオーバーヘッドのための余地を残しています。
- 強制力: ポッドが 8 GiB の契約に対して 9 GiB の割り当てを試みると、割り当てはアウトオブメモリエラーで失敗し、制限が強制されていることが証明されます。
- カスタム AMI が必要: ユーザーは、R615 ドライバーブランチを含むカスタムの Amazon Machine Image (AMI) を構築する必要があります。これは、デフォルトの EKS AL2023 NVIDIA イメージが古い R580/R595 ブランチを使用していたためです。
- セキュリティ保証なし: ガイドは明確に、メモリは制限されているものの、障害封じ込めはセキュリティ保証ではないと述べています。ワークロードは、計算モードに応じてエラードメインを共有します。
なぜ重要なのか
AI プロダクトを構築するエンジニアリングチームにとって、GPU コストはインフラストラクチャー予算の重要な部分を占めます。アイドル状態の GPU メモリは無駄な支出を表します。フラクショニングを有効にすることで、組織は高価な GPU インスタンス上のワークロード密度を高めることができます。これは特に開発環境で価値があります。データサイエンティストが長時間アイドル状態になる可能性のある Jupyter ノートブックを実行したり、最小限の GPU リソースを必要とするバッチ評価ジョブを実行したりするためです。
しかし、このアプローチはクラスター管理に複雑さをもたらします。エンジニアは単純な「1ポッドにつき1GPU」というメンタルモデルから脱却し、メモリ契約の管理を開始する必要があります。これは、累積メモリ要求がすべての共有ワークロードのパフォーマンスを低下させる競合につながらないよう、慎重な監視を必要とします。また、カスタム AMI の必要性に見られるように、ドライバーとオペレーターに対する厳格なバージョン管理も求められます。
さらに、このソリューションは MIG をサポートしないハードウェアのギャップを埋めます。クラウド環境にある既存の多くの GPU インスタンスは MIG 機能を欠いています。ソフトウェアベースのフラクショニングは、ハードウェアのアップグレードを必要とせずに、これらのレガシーまたは MIG 対応でないデバイスのより良い利用率への道を提供します。これは、MIG の分離性と基本的なタイムスライシングによる制御不能な共有との間の中間的な解決策を提供します。
できること
- ワークロードプロファイルの評価: モデル評価スクリプトや開発ノートブックなど、GPU メモリ使用量が低いか断続的なワークロードを、フラクショニングの候補として特定してください。
- ドライバー互換性の検証: 実装を試みる前に、現在の GPU インスタンスが必須の NVIDIA R615 ドライバーブランチ以降をサポートしているかどうかを確認してください。
- カスタム AMI の構築: 正しい NVIDIA ドライバーとコンテナツールキットバージョンを含むカスタムの Amazon Linux 2023 イメージを構築・維持するためのパイプラインを準備してください。
- メモリ制限のテスト: 保守的なメモリ契約から始めてください。アプリケーションのピーク使用量を測定し、ポッド仕様で制限を設定する前にオーバーヘッドを追加してください。
- ポッドごとのメトリクスの監視: 実際の使用量と契約上の制限を追跡するために、
gpu_fractioning_gpu_memory_used_bytesメトリクスの監視を実装してください。 - 使い捨て環境の使用: 設定にはスケジューラー、オペレーター、ドライバー間の複雑な相互作用が含まれるため、まず一時的なクラスターでセットアップをテストしてください。


