クラウドとインフラ

Amazon CloudWatch、EKS クラスター向けに GPU およびアクセラレーターの可視化機能を追加

AWS は「Accelerated Compute Insights」をリリースし、Amazon EKS 上の GPU および AI アクセラレーターワークロードに対してデバイスレベルの観測性、コスト浪費の検出、および自動修復機能を提供します。

健康状態とコストデータを表示する中央監視ダッシュボードに接続された GPU サーバーの説明図。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Amazon Web Services は、Amazon Elastic Kubernetes Service (EKS) クラスター内での GPU および AI アクセラレーターの使用状況に対する詳細な可視性を提供するために設計された新機能「Amazon CloudWatch Accelerated Compute Insights」を発表しました。KubeCon North America 2026 で公開されたこのツールは、高価で共有されるアクセラレーターフリートを管理する際にプラットフォームチームが直面する、拡大しつつある運用上の盲点を解消することを目的としています。

何が起きたか

GPU などのアクセラレーターは、現代のインフラストラクチャー予算において最もコストの高いコンポーネントとなっていますが、多くの組織では効率的な管理に必要な可視性が欠如しています。共有クラスター環境では、プラットフォームチームはどのチームやワークロードが特定のリソースを消費しているかを特定するのに苦労することが多く、これが非効率な利用率や予期せぬコストにつながります。ハードウェア障害やサーマルスロットリングによりパフォーマンスが低下した場合、チームはジョブの失敗や請求書の到着後に初めて問題に気づくことが頻繁にあり、個々の故障したデバイスを隔離するのではなく、インスタンス全体を再起動せざるを得ない状況に追い込まれます。

これを解決するため、AWS は Accelerated Compute Insights をリリースしました。これは EKS フリート内のすべてのアクセラレーターに対する統一された運用ビューを提供します。本サービスは NVIDIA GPU、AWS Trainium、AWS Inferentia をサポートしており、これらの異なるハードウェアタイプからのメトリクスを共通スキーマに正規化します。これにより、混在フリートを運用するチームは、各ハードウェアベンダーごとに個別のツールを用意することなく、単一のダッシュボードから健全性、利用率、コスト浪費を監視できます。

今回のリリースは、OTel Container Insights や Application Performance Monitoring など、AWS が 2025 年と 2026 年に EKS 向けに展開してきた一連の観測性アップデートに基づいています。この既存スタックにアクセラレーター固有のテレメトリを追加することで、AWS は AI ワークロードにおけるインフラストラクチャー監視とアプリケーションパフォーマンス間のギャップを埋めることを目指しています。

仕組み

システムは、CloudWatch Metrics API で収集パスを収束させることで動作します。NVIDIA GPU の場合、CloudWatch エージェントと NVIDIA Exporter がデバイスレベルのメトリクスを収集し、Unified Accelerator Health Layer が GPU と Inferentia チップの両方からのデータを正規化します。この正規化されたデータは OpenTelemetry (OTLP) エンドポイント経由で CloudWatch の中央ストレージに取り込まれ、ユーザーによるノードごとのセットアップやカスタム収集パイプラインの設定は不要です。

データのフローが始まると、サービスはアクセラレーターのメトリクスを Kubernetes メタデータ(ポッド、名前空間、ノード、チーム名やアプリケーション名などのカスタムラベルを含む)で強化します。Multi-Instance GPU (MIG) パーティションや Kubernetes Dynamic Resource Allocation (DRA) などのリソース割り当てスキームを自動的に検出し、このコンテキストにより、システムは利用率とメモリ使用量を特定のワークロードに帰属させ、誰がどのリソースを使用しているかを正確に追跡できるようにします。

トラブルシューティングのため、このツールは CloudWatch Omni と AWS DevOps Agent と統合されています。Omni はアプリケーション中心のビューを提供し、推論ワークロードのパフォーマンスをアクセラレーターの健全性に直接リンクします。DevOps Agent はテレメトリ、ログ、最近の変更を分析し、ハードウェア交換が必要なメモリエラーと再起動で解決できるドライバーの問題など、障害モードを区別できます。その後、承認用の根拠に基づくアクションプランを提示するか、設定に応じて修復処理を自動的に実行します。

主要な詳細

  • サポートハードウェア: 本サービスは NVIDIA GPU、AWS Trainium、AWS Inferentia をサポートし、メトリクスは単一の Accelerator Health ビューに正規化されます。
  • 浪費検出: リサイズ機会、テンサーコア利用率に基づくトレーニング効率のギャップ、ハードウェア容量を下回って稼働している推論エンドポイントという、3 種類の回復可能な浪費を識別します。
  • Kubernetes 統合: アクセラレーターデータはポッド、名前空間、ノードメタデータで強化され、手動設定なしで MIG パーティションと DRA スキームを自動検出します。
  • 自動修復: AWS DevOps Agent は根本原因を診断し、定義済みランブックに基づいてドライバーの再起動やノードの交換などの修正を提案または実行できます。
  • インストール: ユーザーは eksctl、Helm、または Terraform を介して Amazon CloudWatch Observability EKS アドオンをバージョン 7.0.1 以降にインストールまたはアップグレードすることで、この機能を有効化します。
  • コストコンテキスト: 提供されるコスト数値は意思決定を支援するための運用推定値であり、権威ある請求データではありません。請求データは引き続き AWS Cost Explorer で確認可能です。

なぜ重要なのか

ソフトウェアエンジニアやインフラストラクチャーリーダーにとって、主な価値は受動的な火消し作業から能動的な最適化へのシフトにあります。従来、単一の故障した GPU はチームに 8-GPU インスタンス全体をサイクルさせ、健全なリソースを無駄にし、希少なキャパシティが戻るのを待たせる結果となっていました。デバイスレベルの可視性があれば、チームは故障したハードウェアのみを隔離して交換でき、ワークロードの残りの部分の稼働時間を維持できます。この精度によりダウンタイムが削減され、大規模なトレーニングジョブをしばしば悩ませる連鎖的な遅延を防ぐことができます。

さらに、ハードウェアテレメトリとアプリケーションパフォーマンスを相関させる能力は、開発者がコードを最適化するのに役立ちます。過小利用されている推論エンドポイントや、モデルフロップス利用率 (MFU) が低いトレーニングジョブを特定することで、チームは既存のハードウェアからより多くの価値を引き出すために構成を調整できます。アクセラレーターのコストが上昇し続けている現在、パフォーマンスを犠牲にせずにインフラストラクチャー支出を制御するための重要なレバーとして、効率は極めて重要です。

実施できること

  • Amazon CloudWatch Observability EKS アドオンをバージョン 7.0.1 以降にアップグレードし、アクセラレーターデータ収集を有効化してください。
  • AWS ドキュメントに記載されている eksctl または Helm コマンドを使用してアドオンをインストールし、OpenTelemetry データのストリーミングを開始してください。
  • CloudWatch Omni を開き、推論ワークロードをアクセラレーター健全性メトリクスおよび識別された浪費カテゴリとともに表示してください。
  • Accelerator Health ビューを確認し、不均衡なリソースを消費している、またはエラーを経験している特定のポッドや名前空間を特定してください。
  • AWS DevOps Agent を設定してヘルスイベントを受信し、自動修復を有効にする前に、非クリティカルなワークロードでその診断機能をテストしてください。
  • コスト浪費推定値を使用して、実際のハードウェア使用量に対して過剰にプロビジョニングされているトレーニングジョブのリサイズ機会を特定してください。
  • #aws
  • #kubernetes
  • #gpu
  • #observability
  • #cloudwatch
  • #ai-infrastructure

Bytechapストアのツール

続きを読む

すべての記事