Une condition de course dans l'auto-réparation d'Argo CD saute les hooks de migration de base de données
Une condition de course dans Argo CD provoque le saut des hooks de synchronisation lorsqu'une fenêtre de refus se ferme, entraînant des incohérences de schéma malgré un statut sain.
Traduit automatiquement depuis l'original anglais.
Une récente enquête menée par Afzal Ansari, Ambassadeur CNCF, révèle une condition de course critique dans Argo CD qui peut faire échouer silencieusement les migrations de base de données. Lorsqu'une fenêtre de refus de synchronisation se ferme, la réparation automatique (self-healing) peut déclencher une synchronisation partielle qui ignore les hooks, laissant les applications exécuter du nouveau code sur d'anciens schémas. Ce problème affecte les configurations utilisant la synchronisation automatique avec prune et self-heal activés en parallèle des fenêtres de synchronisation.
Ce qui s'est passé
Un client a signalé que ses applications Argo CD affichaient un statut de synchronisation réussi, alors que la migration de base de données associée n'avait pas été exécutée. L'équipe avait poussé une version pendant qu'une fenêtre de refus de synchronisation était active. À l'expiration de cette fenêtre, cinq applications régionales ont tenté de déployer le même commit. Trois applications ont réussi à exécuter la migration, mais deux ne l'ont pas fait. Pendant 36 à 44 minutes, les services affectés ont fonctionné avec du code attendant un nouveau schéma, tandis que la base de données restait sur la version précédente.
L'échec était difficile à détecter car l'interface utilisateur d'Argo CD indiquait les applications comme Synced et Healthy. Le journal des opérations montrait que toutes les tâches avaient été exécutées avec succès. Le seul indicateur du problème se trouvait dans les journaux du contrôleur, qui affichaient un compteur de tentatives de self-heal égal à un et ne listaient qu'un sous-ensemble de ressources. Cela confirmait qu'Argo CD avait effectué une correction de dérive plutôt qu'un déploiement complet, et les corrections de dérive n'exécutent pas les hooks.
Ansari a reproduit le problème dans un environnement de laboratoire contrôlé en utilisant une application simple composée d'un ConfigMap, d'un Deployment et d'un Job de hook Sync pour la migration. En poussant une version pendant une fenêtre de refus active et en chronométrant la prochaine actualisation périodique, il a déclenché l'échec dans cinq cas sur six. L'application semblait synchroniser la nouvelle version, mais le job de migration conservait l'étiquette de la version précédente, prouvant que le hook avait été ignoré.
Comment cela fonctionne
La cause profonde réside dans la manière dont Argo CD gère différents types d'actualisations d'applications. Une actualisation de niveau 2 est pilotée par un minuteur de réconciliation, se produisant généralement toutes les deux à trois minutes, et compare l'état réel à la révision cible dans Git. Une actualisation de niveau 1 est déclenchée par des modifications apportées aux objets gérés et réutilise les connaissances existantes du contrôleur. Lorsqu'une fenêtre de synchronisation se ferme, aucun événement explicite n'annonce cette fermeture. La prochaine actualisation, qu'elle soit de niveau 1 ou 2, observe simplement que la synchronisation est désormais autorisée.
Pendant la fenêtre de refus, les actualisations de niveau 2 pilotées par le minuteur continuent de comparer le nouveau commit et mettent à jour le champ status.sync.revision, même si aucune synchronisation réelle ne se produit. Si une actualisation de niveau 1 arrive en premier après la fermeture de la fenêtre, elle utilise cette révision enregistrée pour la comparaison. Le contrôleur évalue les changements de révision, ne trouve aucune différence entre la révision enregistrée et lui-même, et conclut qu'aucun changement n'est en attente. Par conséquent, la vérification alreadyAttemptedSync passe, et le contrôleur initie une opération de self-heal.
Le self-heal effectue une synchronisation partielle, mettant à jour uniquement les ressources désynchronisées. Crucialement, les synchronisations partielles ignorent tous les hooks, y compris les hooks PreSync, Sync et PostSync. En revanche, si une actualisation de niveau 2 était arrivée en premier, elle aurait comparé la dernière révision synchronisée à la révision cible, détecté l'incohérence et déclenché une synchronisation complète incluant les hooks. Le bug confond effectivement la dernière révision comparée avec la dernière révision synchronisée sur le chemin de niveau 1.
Détails clés
- Le problème survient lorsque la synchronisation automatique, prune et self-heal sont activés en parallèle des fenêtres de refus de synchronisation.
- Les synchronisations partielles déclenchées par le self-heal ignorent tous les hooks de ressources, quel que soit leur phase.
- L'option
RunHooksOnPartialSyncne résout pas le problème car elle est ignorée pour les synchronisations automatiques. - Changer le type de hook de Sync à PreSync n'empêche pas le saut, car les synchronisations partielles ignorent tous les types de hooks.
- La condition de course dépend de savoir si une actualisation de niveau 1 ou de niveau 2 se produit en premier après la fermeture d'une fenêtre.
- Les applications apparaissent saines et synchronisées dans l'interface utilisateur même lorsque le hook de migration a été ignoré.
Pourquoi c'est important
Pour les équipes s'appuyant sur Argo CD pour la livraison continue, ce comportement compromet la fiabilité des migrations de base de données gérées via des hooks. Les ingénieurs considèrent souvent les hooks comme des étapes d'exécution garanties pour les changements de schéma, mais cette condition de course démontre qu'ils sont conditionnels au type d'opération de synchronisation. Un échec silencieux où le code et le schéma divergent peut entraîner des erreurs d'exécution, une corruption de données ou des pannes de service difficiles à diagnostiquer en raison du statut trompeur « healthy » affiché sur le tableau de bord.
Ce problème met en évidence un risque architectural plus large lié au traitement des migrations comme effets secondaires du processus de synchronisation plutôt que comme partie intégrante de l'état souhaité. Lorsque les migrations sont découplées des définitions de ressources principales, elles deviennent vulnérables aux nuances opérationnelles telles que les synchronisations partielles. Les équipes doivent reconnaître que le self-heal, bien qu'utile pour corriger les dérives manuelles, introduit un chemin qui contourne les événements critiques du cycle de vie. Comprendre cette distinction est essentiel pour concevoir des pipelines de déploiement résilients qui ne dépendent pas de la chance temporelle.
Ce que vous pouvez faire
- Remplacez les hooks de synchronisation par des ressources gérées en supprimant les annotations de hook et en utilisant les vagues de synchronisation (sync waves) pour ordonner l'exécution.
- Attribuez des noms uniques aux jobs de migration par version, tels que l'inclusion du tag de l'image, pour garantir qu'ils soient traités comme de nouvelles ressources.
- Activez prune pour nettoyer les anciens jobs de migration et évitez de définir
ttlSecondsAfterFinishedafin de prévenir une suppression prématurée. - Désactivez self-heal sur les applications nécessitant des migrations obligatoires, en acceptant que les dérives manuelles restent désynchronisées jusqu'au prochain commit.
- Testez délibérément des migrations échouant dans les environnements de staging pour vérifier que la nouvelle approche basée sur les vagues gère correctement les erreurs.
- Évitez de compter sur
RunHooksOnPartialSyncou de changer les phases de hooks comme correctifs, car ces mesures ne résolvent pas la condition de course sous-jacente.



