Cloud & Infrastruktur

Wettlaufsituation bei Argo CD Self-Heal führt zum Überspringen von Datenbank-Migrations-Hooks

Eine Wettlaufsituation in Argo CD führt dazu, dass Sync-Hooks übersprungen werden, wenn ein Deny-Fenster schließt. Dies kann zu Schema-Inkompatibilitäten führen, obwohl der Status als gesund angezeigt wird.

Illustration einer Wettlaufsituation in Synchronisierungsmechanismen
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Eine aktuelle Untersuchung des CNCF-Botschafters Afzal Ansari deckt eine kritische Wettlaufsituation in Argo CD auf, die dazu führen kann, dass Datenbankmigrationen stillschweigend fehlschlagen. Wenn ein Sync-Deny-Fenster schließt, kann das automatisierte Self-Healing eine teilweise Synchronisierung auslösen, die Hooks überspringt. Dadurch laufen Anwendungen mit neuem Code gegen alte Schemata weiter. Dieses Problem betrifft Konfigurationen, die automatisierte Synchronisierung mit aktivierten Optionen für Prune und Self-Heal in Kombination mit Sync-Fenstern nutzen.

Was ist passiert?

Ein Kunde meldete, dass seine Argo-CD-Anwendungen einen erfolgreichen Sync-Status anzeigten, die zugehörige Datenbankmigration jedoch nicht ausgeführt worden war. Das Team hatte ein Release veröffentlicht, während ein aktives Deny-Sync-Fenster bestand. Nach Ablauf des Fensters versuchten fünf regionale Anwendungen, denselben Commit bereitzustellen. Drei Anwendungen führten die Migration erfolgreich aus, zwei jedoch nicht. Über einen Zeitraum von 36 bis 44 Minuten liefen die betroffenen Dienste mit Code, der ein neues Schema erwartete, während die Datenbank noch auf der alten Version basierte.

Der Fehler war schwer zu erkennen, da die Benutzeroberfläche von Argo CD die Anwendungen als „Synced“ (synchronisiert) und „Healthy“ (gesund) anzeigte. Das Operationsprotokoll wies darauf hin, dass alle Aufgaben erfolgreich ausgeführt wurden. Der einzige Hinweis auf das Problem fand sich in den Controller-Logs, die einen Zähler für Self-Heal-Versuche von eins anzeigten und nur eine Teilmenge der Ressourcen auflisteten. Dies bestätigte, dass Argo CD eine Drift-Korrektur statt einer vollständigen Bereitstellung durchgeführt hatte, und Drift-Korrekturen führen keine Hooks aus.

Ansari reproduzierte das Problem in einer kontrollierten Laborumgebung unter Verwendung einer einfachen Anwendung mit einem ConfigMap, einer Deployment-Ressource und einem Sync-Hook-Job für die Migration. Indem er ein Release während eines aktiven Deny-Fensters veröffentlichte und das Timing der nächsten periodischen Aktualisierung steuerte, löste er den Fehler in fünf von sechs Versuchen aus. Die Anwendung schien die neue Version zu synchronisieren, aber der Migrations-Job behielt das Label der vorherigen Veröffentlichung bei, was bewies, dass der Hook übersprungen worden war.

Wie funktioniert es?

Die Ursache liegt darin, wie Argo CD verschiedene Arten von Anwendungsaktualisierungen behandelt. Eine Level-2-Aktualisierung wird durch einen Reconciliation-Timer gesteuert, der typischerweise alle zwei bis drei Minuten ausgelöst wird, und vergleicht den Live-Zustand mit der Zielrevision in Git. Eine Level-1-Aktualisierung wird durch Änderungen an verwalteten Objekten ausgelöst und nutzt vorhandenes Controller-Wissen. Wenn ein Sync-Fenster schließt, gibt es kein explizites Ereignis, das dies ankündigt. Die nächste Aktualisierung, ob Level-1 oder Level-2, stellt lediglich fest, dass die Synchronisierung nun zulässig ist.

Während des Deny-Fensters fahren timer-gesteuerte Level-2-Aktualisierungen fort, den neuen Commit zu vergleichen und das Feld status.sync.revision zu aktualisieren, auch wenn keine tatsächliche Synchronisierung stattfindet. Wenn nach dem Schließen des Fensters zuerst eine Level-1-Aktualisierung eintrifft, verwendet sie diese aufgezeichnete Revision für den Vergleich. Der Controller bewertet die Revisionsänderungen, findet keinen Unterschied zwischen der aufgezeichneten Revision und sich selbst und kommt zu dem Schluss, dass keine Änderungen ausstehen. Folglich besteht die Prüfung alreadyAttemptedSync, und der Controller initiiert eine Self-Heal-Operation.

Self-Healing führt eine teilweise Synchronisierung durch und aktualisiert nur die Ressourcen, die nicht synchron sind. Entscheidend ist, dass teilweise Synchronisierungen alle Hooks überspringen, einschließlich PreSync-, Sync- und PostSync-Hooks. Im Gegensatz dazu hätte eine zuerst eintreffende Level-2-Aktualisierung die zuletzt synchronisierte Revision mit der Zielrevision verglichen, die Abweichung erkannt und eine vollständige Synchronisierung ausgelöst, die Hooks einschließt. Der Bug verwechselt effektiv die zuletzt verglichene Revision mit der zuletzt synchronisierten Revision im Level-1-Pfad.

Wichtige Details

  • Das Problem tritt auf, wenn automatisierte Synchronisierung, Prune und Self-Heal zusammen mit Sync-Deny-Fenstern aktiviert sind.
  • Durch Self-Healing ausgelöste teilweise Synchronisierungen überspringen alle Ressourcen-Hooks, unabhängig von ihrer Phase.
  • Die Option RunHooksOnPartialSync löst das Problem nicht, da sie bei automatisierten Synchronisierungen ignoriert wird.
  • Das Ändern des Hook-Typs von Sync zu PreSync verhindert das Überspringen nicht, da teilweise Synchronisierungen alle Hook-Typen ignorieren.
  • Die Wettlaufsituation hängt davon ab, ob nach dem Schließen eines Fensters zuerst eine Level-1- oder Level-2-Aktualisierung erfolgt.
  • Anwendungen erscheinen in der Benutzeroberfläche als gesund und synchronisiert, selbst wenn der Migrations-Hook übersprungen wurde.

Warum ist das wichtig?

Für Teams, die Argo CD für Continuous Delivery nutzen, untergräbt dieses Verhalten die Zuverlässigkeit von Datenbankmigrationen, die über Hooks verwaltet werden. Ingenieure betrachten Hooks oft als garantierte Ausführungsschritte für Schemaänderungen, aber diese Wettlaufsituation zeigt, dass sie vom Typ der Synchronisierungsoperation abhängen. Ein stiller Fehler, bei dem Code und Schema divergieren, kann zu Laufzeitfehlern, Datenkorruption oder Serviceausfällen führen, die aufgrund des irreführenden gesunden Status im Dashboard schwer zu diagnostizieren sind.

Dieses Problem hebt ein breiteres architektonisches Risiko hervor: Migrationen als Nebeneffekte des Synchronisierungsprozesses zu behandeln, anstatt sie als Teil des gewünschten Zustands zu definieren. Wenn Migrationen von den Kernressourcendefinitionen entkoppelt sind, werden sie anfällig für operative Feinheiten wie teilweise Synchronisierungen. Teams müssen erkennen, dass Self-Healing, obwohl nützlich zur Korrektur manueller Drifts, einen Pfad einführt, der kritische Lifecycle-Ereignisse umgeht. Das Verständnis dieser Unterscheidung ist entscheidend für die Gestaltung robuster Bereitstellungspipelines, die nicht vom Zufall des Timings abhängen.

Was Sie tun können

  • Ersetzen Sie Sync-Hooks durch verwaltete Ressourcen, indem Sie Hook-Annotationen entfernen und Sync-Waves verwenden, um die Ausführungsreihenfolge zu steuern.
  • Weisen Sie Migrations-Jobs pro Release eindeutige Namen zu, beispielsweise durch Einbeziehung des Image-Tags, um sicherzustellen, dass sie als neue Ressourcen behandelt werden.
  • Aktivieren Sie Prune, um alte Migrations-Jobs zu bereinigen, und vermeiden Sie das Setzen von ttlSecondsAfterFinished, um eine vorzeitige Löschung zu verhindern.
  • Deaktivieren Sie Self-Heal bei Anwendungen, die obligatorische Migrationen erfordern, und akzeptieren Sie, dass manuelle Drifts bis zum nächsten Commit nicht synchronisiert bleiben.
  • Testen Sie absichtlich fehlschlagende Migrationen in Staging-Umgebungen, um zu überprüfen, ob der neue Wave-basierte Ansatz Fehler korrekt handhabt.
  • Verlassen Sie sich nicht auf RunHooksOnPartialSync oder das Ändern von Hook-Phasen als Lösung, da diese die zugrunde liegende Wettlaufsituation nicht beheben.
  • #argo cd
  • #kubernetes
  • #devops
  • #database migrations
  • #gitops

Tools aus dem Bytechap-Shop

Weiterlesen

Alle Artikel