クラウドとインフラ

Argo CD のセルフヒーリングにおける競合状態により、データベース移行フックがスキップされる

Argo CD に存在する競合状態により、同期拒否ウィンドウ(deny window)の終了時に同期フックがスキップされ、ステータスは正常と表示されるにもかかわらず、スキーマの不整合が発生します。

同期メカニズムにおける競合状態の説明図
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

CNCF アンバサダーである Afzal Ansari 氏による最近の調査で、Argo CD に重大な競合状態が存在し、データベース移行がサイレントに失敗する可能性があることが判明しました。同期拒否ウィンドウが閉じると、自動セルフヒーリングが部分的な同期をトリガーすることがあり、その際にフックがスキップされます。これにより、アプリケーションは新しいコードを実行している一方で、データベースは古いスキーマのままという状態になります。この問題は、自動同期、プルーニング(prune)、およびセルフヒーリングが有効になっており、かつ同期ウィンドウを使用している環境に影響します。

何が起きたか

ある顧客から、Argo CD アプリケーションの同期ステータスは成功と表示されているにもかかわらず、関連するデータベース移行が実行されていないという報告がありました。チームは同期拒否ウィンドウがアクティブな状態でリリースをプッシュしていました。ウィンドウの有効期限が切れた際、5 つのリージョン別アプリケーションが同じコミットをロールアウトしようと試みました。3 つのアプリケーションでは移行が正常に実行されましたが、2 つでは実行されませんでした。影響を受けたサービスは 36 から 44 分間、新しいスキーマを想定したコードを実行していましたが、データベースは古いバージョンのまま remained でした。

Argo CD のユーザーインターフェースでは、これらのアプリケーションが「Synced」かつ「Healthy」と表示されていたため、障害の検出は困難でした。操作ログにはすべてのタスクが正常に完了したと記録されていました。問題を示す唯一の手がかりはコントローラーログに見つかり、セルフヒーリング試行回数が 1 であり、リソースの一部のみがリストアップされていました。これは Argo CD が完全なデプロイではなくドリフト補正を実行していたことを確認させるものであり、ドリフト補正ではフックが実行されません。

Ansari 氏は、ConfigMap、Deployment、および移行用の Sync フック Job を備えたシンプルなアプリケーションを使用して、制御されたラボ環境でこの問題を再現しました。アクティブな拒否ウィンドウ中にリリースをプッシュし、次の定期リフレッシュのタイミングを調整することで、6 回の試行のうち 5 回で失敗を発生させました。アプリケーションは新しいバージョンへの同期が完了したように見えましたが、移行ジョブには前回リリース時のラベルが残っており、フックがスキップされたことが証明されました。

仕組み

根本的な原因は、Argo CD が異なる種類のリフレッシュをどのように処理するかという点にあります。レベル 2 リフレッシュは調和タイマー(reconciliation timer)によって駆動され、通常 2〜3 分ごとに Git のターゲットリビジョンとライブ状態を比較します。一方、レベル 1 リフレッシュは管理対象オブジェクトの変更によってトリガーされ、既存のコントローラー知識を再利用します。同期ウィンドウが閉じても、それを通知する明示的なイベントはありません。次のリフレッシュ(レベル 1 またはレベル 2)は、単に同期が許可されたことを観測するだけです。

拒否ウィンドウ期間中、タイマー駆動のレベル 2 リフレッシュは新しいコミットを引き続き比較し、status.sync.revision フィールドを更新しますが、実際の同期は発生しません。ウィンドウ閉鎖後にレベル 1 リフレッシュが最初に到着した場合、それはこの記録されたリビジョンを比較に使用します。コントローラーはリビジョン変更を評価し、記録されたリビジョンと現在の状態との間に差異がないと判断するため、保留中の変更はないと結論付けます。結果として、alreadyAttemptedSync チェックがパスし、コントローラーはセルフヒーリング操作を開始します。

セルフヒーリングは部分的な同期を実行し、同期されていないリソースのみを更新します。重要な点として、部分的な同期では PreSync、Sync、PostSync などのすべてのフックがスキップされます。対照的に、もしレベル 2 リフレッシュが最初に到着していれば、最後に同期されたリビジョンとターゲットリビジョンを比較し、不一致を検出してフックを含む完全な同期をトリガーしていたはずです。このバグは、レベル 1 パスにおいて、最後に比較されたリビジョンを最後に同期されたリビジョンと誤認することによって引き起こされます。

主要な詳細

  • この問題は、自動同期、プルーニング、およびセルフヒーリングが有効で、かつ同期拒否ウィンドウが併用されている場合に発生します。
  • セルフヒーリングによってトリガーされる部分的な同期は、フェーズに関係なくすべてのリソースフックをスキップします。
  • RunHooksOnPartialSync オプションはこの問題を解決しません。なぜなら、自動同期ではこのオプションが無視されるからです。
  • フックタイプを Sync から PreSync に変更してもスキップを防ぐことはできません。部分的な同期はすべてのフックタイプを無視するためです。
  • 競合状態は、ウィンドウ閉鎖後にレベル 1 リフレッシュとレベル 2 リフレッシュのどちらが先に発生するかによって決まります。
  • 移行フックがスキップされていても、UI ではアプリケーションが正常かつ同期済みとして表示されます。

なぜ重要なのか

継続的デリバリーのために Argo CD に依存しているチームにとって、この挙動はフックを通じて管理されるデータベース移行の信頼性を損ないます。エンジニアはしばしば、スキーマ変更のための保証された実行ステップとしてフックを扱いますが、この競合状態は、フックの実行が同期操作の種類に条件付けられていることを示しています。コードとスキーマが乖離するサイレントな失敗は、ランタイムエラー、データ破損、または診断が難しいサービス停止につながる可能性があります。ダッシュボード上の誤解を招くような「正常」ステータスが原因だからです。

この問題は、移行を望ましい状態の一部としてではなく、同期プロセスの副作用として扱うことの広範なアーキテクチャリスクを浮き彫りにします。移行がコアリソース定義から切り離されると、部分的な同期のような運用上の微妙な違いに対して脆弱になります。チームは、セルフヒーリングが手動でのドリフト修正には有用ですが、重要なライフサイクルイベントをバイパスする経路を導入することを認識する必要があります。この区別を理解することは、タイミングの運に依存しない堅牢なデプロイパイプラインを設計するために不可欠です。

対策

  • フックアノテーションを削除し、同期ウェーブ(sync waves)を使用して実行順序を指定することで、同期フックを管理対象リソースに置き換えます。
  • イメージタグを含めるなど、リリースごとに移行ジョブに一意の名前を割り当て、それらが新しいリソースとして扱われるようにします。
  • プルーニングを有効にして古い移行ジョブをクリーンアップし、早すぎる削除を防ぐために ttlSecondsAfterFinished を設定しないようにします。
  • 必須の移行が必要なアプリケーションではセルフヒーリングを無効にし、次のコミットまで手動でのドリフトが同期されないままになることを受け入れます。
  • ステージング環境で意図的に失敗する移行をテストし、新しいウェーブベースのアプローチがエラーを正しく処理できることを確認します。
  • RunHooksOnPartialSync に依存したり、フックフェーズを変更したりすることは、根本的な競合状態に対処しないため、修正策として避けてください。
  • #argo cd
  • #kubernetes
  • #devops
  • #database migrations
  • #gitops

Bytechapストアのツール

続きを読む

すべての記事