クラウドとインフラ

分散型AI学習ワークロード向けKubernetesスケジューリングの改善

Kubernetesのデフォルトスケジューリングは分散型AIジョブに対応できません。KueueとCoschedulingを用いたトポロジー認識配置およびギャングスケジューリングにより、遅延や同期の問題を解決します。

中央のスケジューラによって管理される高速接続を備えたサーバーラックを示す図
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

分散型AI学習は、標準的なKubernetesスケジューリングでは対応できない独自の要件をクラスタインフラに課します。2026年11月時点で、Cloud Native Computing Foundation(CNCF)は、トポロジー認識スケジューリングとギャングスケジューリングがこれらの課題をどのように解決するかについて言及しています。これらの仕組みにより、GPU間の効率的な通信とジョブの同時起動が保証され、リソースの無駄遣いを防ぎます。

何が起きたか

標準的なKubernetesスケジューラはPodを独立した単位として扱い、利用可能なノードに一つずつ配置します。このアプローチは一般的なWebサービスには適していますが、Pod同士が密接に結合されている分散型AI学習では機能しません。学習ジョブ内の単一のPodが遅延したり、遠隔地のノードに配置されたりすると、ジョブ全体が高レイテンシに陥るか、完全に停止してしまいます。その結果、ハードウェアは稼働しているように見えますが、実際の学習スループットは低下します。

これを解決するため、エコシステムではトポロジー認識スケジューリング(TAS)とギャングスケジューリングという2つの補完的な戦略を採用しています。TASは、Podが最適なGPU間帯域幅を持つハードウェア上、例えば同じラック内やノード内に配置されることを保証します。ギャングスケジューリングは、ジョブ内のすべてのPodが同時に起動することを保証し、一部のGPUが他のGPUの準備完了を待ってアイドル状態になる状況を防止します。これらの機能は、KueueやCoschedulingプラグインなどのツールを通じて実装されています。

Kueueは、標準的なkube-schedulerの上に位置するゲートキーパーとして機能します。ジョブがスケジューラに到達する前に、クォータ、優先度、トポロジー制約に基づいて評価を行います。ノードをホスト、ラック、ブロックなどのドメインにグループ化することで、Kueueは帯域幅要件を満たす領域への配置のみを許可します。これにより、スケジューラがワーカーを高レイテンシのネットワークリンク上に散在させることを防ぎ、大規模モデル学習におけるパフォーマンスの著しい低下を回避します。

仕組み

トポロジー認識スケジューリングは、topology.kubernetes.io/rackなどのノードに適用されたラベルを利用します。Kueueはこれらのラベルを使用してノードをドメインにグループ化します。ジョブが提出されると、Kueueは単一のドメインでジョブのリソース要件を満たせるかどうかを確認します。満たせる場合、Podテンプレートに制約を書き込み、KubernetesスケジューラがすべてのPodをその特定のドメイン内に配置するように強制します。これにより、NVLinkやInfiniBandなどの高速インターコネクトを使用し、より低速なクロスラックネットワークではなく、通信トラフィックをローカルに保ちます。

ギャングスケジューリングは、同期の問題に対処します。関連するPodのセットを追跡するためにPodGroupというカスタムリソースを使用します。スケジューラは、必要な最小Pod数(spec.minMember)が同時にスケジュールできるまで、すべてのPodを待機状態に保持します。ギャング全体を配置できない場合、どのPodも起動しません。これにより、割り当てられたリソースがアイドル状態のまま部分起動が発生する状況を防止し、ジョブ全体が進行できる場合にのみGPU容量が効果的に使用されるようにします。

主要な詳細

  • 独立 vs. 結合: 標準的なスケジューリングはPodを独立して配置しますが、AI学習では低レイテンシ通信のために協調的な配置が必要です。
  • トポロジードメイン: ノードはラベルによってホスト、ラック、ブロックなどのドメインにグループ化され、帯域幅の境界を定義します。
  • Kueueの役割: Kueueはクォータとトポロジーに基づいてジョブを受け入れ、標準スケジューラが動作する前に配置制約を書き込みます。
  • ギャング調整: CoschedulingはPodGroupを使用し、必要なすべてのPodが一緒に起動することを保証し、部分的なリソース割り当てを避けます。
  • レイテンシの影響: クロスラック通信は顕著なレイテンシを導入し、大規模学習における実効的なGPU利用率を低下させます。
  • 検証メトリクス: 主要なメトリクスには、kueue_pending_workloads、kueue_admission_wait_time_seconds、およびPodGroupのステータスフェーズが含まれます。

なぜ重要か

AIインフラを構築するエンジニアリングチームにとって、非効率なスケジューリングはコストの増加とモデル開発の遅延に直結します。配置の不備により学習ジョブの実行速度が低下すると、組織は意味のある計算に貢献しないGPU時間を支払うことになります。インフラメトリクスは高い利用率を示すかもしれませんが、ハードウェアが計算能力ではなくネットワークレイテンシによってボトルネックになっている事実を隠蔽している可能性があります。TASとギャングスケジューリングを実装することで、高価なGPUリソースが最大のスループットを発揮できるようにします。

さらに、ジョブが一貫したユニットとしてスケジュールされることで、運用の信頼性が向上します。部分起動は、一部のワーカーが失敗またはタイムアウトする一方で他が待機するという複雑なデバッグ状況を引き起こす可能性があります。同時起動とローカライズされた配置を強制することで、チームは障害の可能性を減らします。この予測可能性は、単一ステップの遅延が数千回のイテレーションにわたって累積し、プロジェクト全体のスケジュールに影響を与える大規模事前学習ジョブにおいて極めて重要です。

実施できること

  • ノードへのラベル付け: ドメイン認識配置を有効にするため、GPUノードにtopology.kubernetes.io/rackなどのトポロジーラベルを適用します。
  • Kueueのデプロイ: スケジューリングの前にジョブ受け入れを管理し、トポロジー制約を強制するためにKueueをインストールします。
  • PodGroupの設定: Coschedulingプラグインを使用して学習ジョブ用のPodGroupを定義し、spec.minMemberを正しく設定します。
  • 受け入れの監視: kueue_pending_workloadsを追跡し、クォータやトポロジーの問題によりキューで滞留しているジョブを特定します。
  • 配置の検証: Kueue Workloadオブジェクト内のstatus.admission.podSetAssignmentsを検査し、Podが正しいドメインにあることを確認します。
  • スループットのチェック: スケジューリングメトリクスと学習スループットを相関させ、配置の改善がパフォーマンス向上につながっていることを確認します。
  • #kubernetes
  • #ai infrastructure
  • #gpu scheduling
  • #machine learning ops
  • #distributed systems

Bytechapストアのツール

続きを読む

すべての記事