AIで開発する

SageMakerでの大規模LLM訓練におけるサイレントGPUエラーの検出

Amazonは、PyTorchの訓練ループに3つのチェックを追加することで、SageMaker HyperPodにおけるサイレントデータ破損を検出し、故障したハードウェアによる計算資源の無駄遣いを防ぐ方法を詳細に説明しています。

データフローに影響を与える微細な欠陥があるGPUチップと、それを保護するセキュリティシールドのイラスト。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Amazon Web Services(AWS)は、SageMaker HyperPod上での大規模言語モデル(LLM)訓練中に発生するサイレントデータ破損(SDC)を検出するための技術ガイドを公開しました。このアプローチでは、PyTorch DistributedDataParallelのループに3つの具体的な検証チェックを組み込み、標準的な監視ツールでは見逃されるハードウェア障害を特定します。これにより、エンジニアは破損したノードを隔離し、重要な計算資源が浪費される前に訓練ジョブを復旧させることができます。

何が起きたか

サイレントデータ破損は、GPUなどのハードウェアコンポーネントがエラーフラグを立てることなく、誤ったものの妥当に見える数値結果を返す場合に発生します。分散訓練環境では、これらの誤った値が勾配や重みを通じてすべてのモデルレプリカに伝播します。損失メトリクスは数時間にわたって正常に見えることが多いため、チームはしばしば、モデルの説明できない発散やパフォーマンス低下に気づいて初めて問題を発見します。その頃には、すでに相当な計算コストが発生してしまっています。

この問題の規模は大きいです。Metaは、最大16,000台のH100 GPUを使用してLlama 3 405Bを54日間事前訓練した際、419回の予期しないジョブ中断のうち6回がサイレントデータ破損によるものだと報告しました。これらは即座にジョブ失敗を引き起こし、SDCとして追跡できたケースのみです。自動ノード置換やディープヘルスチェックなどの標準的なSageMaker HyperPod機能は、ハードウェア自体が障害を報告しないため、SDCを検出できません。

これに対応するため、AWSのエンジニアは検出ロジックを訓練ジョブ自体に直接組み込むソリューションを開発しました。チェックで潜在的な破損が識別されると、システムは疑わしいプロセスランクを物理ノードにマッピングし、問題を封じ込め、故障したハードウェアを交換するためにSageMaker HyperPodをトリガーします。これにより、検出責任がインフラストラクチャ監視から訓練アプリケーション自体へシフトします。

仕組み

このソリューションは、破損が発生しうる異なる段階を狙う、訓練ループ内の3つの個別チェックに依存しています。第一に、非有限勾配チェックにより、all-reduce操作の前と後のローカル勾配におけるNaNまたはInfinityの値を監視します。これは、順方向または逆方向パスで数値オーバーフローを引き起こすエラーを検出します。第二に、リングリプレイ監査により、監査ステップで他のノードからのマイクロバッチを再計算し、損失値をビット単位で比較したり勾配フィンガープリントを確認したりすることで、計算パス内の有限だが誤った値を検出します。第三に、重みフィンガープリント比較により、オプティマイザーステップ後にすべてのレプリカが同一の重みを持っていることを検証し、保存された重みや更新プロセスでの破損を検出します。

これらのチェックは、完全なテンソルの送信ではなく、効率的なフィンガープリント方式を使用します。各テンソルは2つの64ビット合計に縮約されます。1つは生のビットパターンの単純な合計、もう1つは位置で重み付けされた合計です。この方法により、通信オーバーヘッドを最小限に抑えつつ、個々の要素の変更を検出できます。位置で重み付けされた合計は、単純な合計では変化が見えない可能性のある値のスワップを検出するために重要です。いずれかのチェックが失敗した場合、システムは責任を持つ特定のGPUランクを識別します。

疑わしいランクが識別されると、システムはAmazon Elastic Kubernetes Service(EKS)との統合を活用して、ランクを特定のインスタンスIDにマッピングします。ジョブは停止され、ノードはコードン化(cordon)され、SageMaker HyperPodの可観測性ダッシュボードを通じてGPUメトリクスがレビューされます。確認が取れた場合、ノードは交換され、疑わしい破損ウィンドウの前に保存されたチェックポイントから訓練が再開されます。

主要な詳細

  • サイレントデータ破損は、特にECC保護がないテンソルコア内の乗算蓄積レーンなど、計算ユニットの製造欠陥やシリコンの経年劣化に起因します。
  • ECC、Xidエラー、DCGMヘルスチェックなどの標準的な整合性チェックは、メモリ、ドライバ障害、または転送層を保護するものであり、計算結果自体ではないため、SDCを見逃します。
  • このソリューションでは、重み比較およびリングリプレイ監査のための多数決投票を有効にするために、少なくとも3つのGPUノードが必要です。
  • ローカル勾配ノームの比較は、健全なレプリカ間の分散が障害信号を桁違いに超える可能性があるため、有限なSDCの検出には効果がありません。
  • 実装はPyTorch DistributedDataParallel向けに設計されており、正確な勾配フィンガープリントのために決定論的カーネルに依存しています。
  • ソリューションの完全なコードは、AWSが提供する付随するGitHubリポジトリで入手可能です。

なぜ重要なのか

大規模AIモデルを構築するエンジニアにとって、サイレントデータ破損は数ヶ月にわたる訓練を脱線させうる隠れたコストです。従来のインフラストラクチャ監視は、ハードウェアが正しく動作しているように見えながら誤った計算を行っているため、これらのエラーに対して盲目です。検出を訓練ループ内に移動することで、チームは悪い重みの伝播を防ぎ、破損したジョブに数千時間のGPU時間を浪費することを回避できます。モデルサイズが増大し、訓練実行が数週間から数ヶ月に及ぶにつれ、これは特に重要になります。

このアプローチは、ハードウェアレベルの診断だけに頼ることの限界も浮き彫りにします。シリコンが熱および電圧ストレス下で経年劣化するにつれ、特定のワークロードパターンでのみ現れる境界的な欠陥が発生する可能性があります。アプリケーションレベルの検証は、基礎となるハードウェアの癖に関係なく、訓練プロセスの数学的整合性が維持されることを保証する、必要な安全網を提供します。この方法は、本番MLシステムのためのより堅牢なフォールトトレランス戦略を可能にします。

あなたができること

  • PyTorch DDPフックに非有限勾配チェックを実装し、NaNまたはInfの値がall-reduceを通じて拡散する前に捕捉してください。
  • 訓練ループに定期的なリングリプレイ監査を追加し、ピアノードからのマイクロバッチを再計算して勾配フィンガープリントを検証してください。
  • オプティマイザーステップ後にすべてのレプリカ間で重みフィンガープリントを比較し、保存されたパラメータの破損を検出してください。
  • SageMaker HyperPodクラスターがEKSでオーケストレーションされ、ノードマッピングおよびメトリック相関のために可観測性アドオンが有効になっていることを確認してください。
  • データパイプラインでシード付きサンプラーを使用し、監査目的でマイクロバッチの決定論的な再構成を可能にしてください。
  • ノード交換後の迅速な復旧を促進するために、Amazon FSx for LustreやS3などの共有ストレージにチェックポイントを保存してください。
  • #aws
  • #sagemaker
  • #llm training
  • #gpu
  • #fault tolerance

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事