Nube e infraestructura

Condición de carrera en el auto-reparación de Argo CD omite los hooks de migración de base de datos

Una condición de carrera en Argo CD provoca que los hooks de sincronización se omitan cuando finaliza una ventana de denegación, lo que genera discrepancias de esquema a pesar de un estado saludable.

Ilustración de una condición de carrera en mecanismos de sincronización
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Una investigación reciente realizada por Afzal Ansari, Embajador de CNCF, revela una crítica condición de carrera en Argo CD que puede provocar fallos silenciosos en las migraciones de bases de datos. Cuando cierra una ventana de denegación de sincronización, la reparación automática (self-healing) puede desencadenar una sincronización parcial que omite los hooks, dejando aplicaciones ejecutando código nuevo contra esquemas antiguos. Este problema afecta a configuraciones que utilizan sincronización automática con prune y self-heal habilitados junto con ventanas de sincronización.

Qué ocurrió

Un cliente reportó que sus aplicaciones en Argo CD mostraban un estado de sincronización exitoso, pero la migración de base de datos asociada no se había ejecutado. El equipo había publicado una versión mientras estaba activa una ventana de denegación de sincronización. Al expirar dicha ventana, cinco aplicaciones regionales intentaron desplegar el mismo commit. Tres aplicaciones ejecutaron correctamente la migración, pero dos no lo hicieron. Durante 36 a 44 minutos, los servicios afectados operaron con código que esperaba un nuevo esquema mientras la base de datos permanecía en la versión anterior.

El fallo fue difícil de detectar porque la interfaz de usuario de Argo CD informaba las aplicaciones como Synced y Healthy. El registro de operaciones indicaba que todas las tareas se habían ejecutado con éxito. El único indicador del problema se encontró en los registros del controlador, que mostraban un recuento de intentos de auto-reparación de uno y listaban solo un subconjunto de recursos. Esto confirmó que Argo CD había realizado una corrección de desviación (drift correction) en lugar de un despliegue completo, y las correcciones de desviación no ejecutan hooks.

Ansari reprodujo el problema en un entorno de laboratorio controlado utilizando una aplicación simple con un ConfigMap, un Deployment y un Job de hook de Sincronización para la migración. Al publicar una versión durante una ventana de denegación activa y cronometrando la siguiente actualización periódica, provocó el fallo en cinco de seis intentos. La aplicación parecía sincronizar la nueva versión, pero el job de migración conservaba la etiqueta de la versión anterior, demostrando que el hook había sido omitido.

Cómo funciona

La causa raíz reside en cómo Argo CD maneja diferentes tipos de actualizaciones de aplicación. Una actualización de nivel 2 es impulsada por un temporizador de reconciliación, que típicamente ocurre cada dos o tres minutos, y compara el estado en vivo contra la revisión objetivo en Git. Una actualización de nivel 1 es disparada por cambios en objetos gestionados y reutiliza el conocimiento existente del controlador. Cuando una ventana de sincronización se cierra, no existe un evento explícito que lo anuncie. La siguiente actualización, ya sea de nivel 1 o 2, simplemente observa que ahora se permite la sincronización.

Durante la ventana de denegación, las actualizaciones de nivel 2 impulsadas por temporizador continúan comparando el nuevo commit y actualizando el campo status.sync.revision, aunque no ocurra ninguna sincronización real. Si una actualización de nivel 1 llega primero después de que la ventana se cierre, utiliza esta revisión registrada para la comparación. El controlador evalúa los cambios de revisión, no encuentra diferencias entre la revisión registrada y sí misma, y concluye que no hay cambios pendientes. En consecuencia, la comprobación alreadyAttemptedSync pasa, y el controlador inicia una operación de auto-reparación.

La auto-reparación realiza una sincronización parcial, actualizando solo los recursos que están fuera de sincronía. Crucialmente, las sincronizaciones parciales omiten todos los hooks, incluidos los PreSync, Sync y PostSync. En contraste, si una actualización de nivel 2 hubiera llegado primero, habría comparado la última revisión sincronizada contra la revisión objetivo, detectado la discrepancia y disparado una sincronización completa que incluye hooks. El bug confunde efectivamente la última revisión comparada con la última revisión sincronizada en la ruta de nivel 1.

Detalles clave

  • El problema ocurre cuando la sincronización automática, prune y self-heal están habilitados junto con ventanas de denegación de sincronización.
  • Las sincronizaciones parciales disparadas por la auto-reparación omiten todos los hooks de recursos, independientemente de su fase.
  • La opción RunHooksOnPartialSync no resuelve el problema porque es ignorada para sincronizaciones automáticas.
  • Cambiar los tipos de hooks de Sync a PreSync no previene la omisión, ya que las sincronizaciones parciales ignoran todos los tipos de hooks.
  • La condición de carrera depende de si una actualización de nivel 1 o nivel 2 ocurre primero después de que una ventana se cierre.
  • Las aplicaciones aparecen saludables y sincronizadas en la UI incluso cuando el hook de migración ha sido omitido.

Por qué importa

Para equipos que dependen de Argo CD para la entrega continua, este comportamiento socava la fiabilidad de las migraciones de bases de datos gestionadas mediante hooks. Los ingenieros a menudo tratan los hooks como pasos de ejecución garantizados para cambios de esquema, pero esta condición de carrera demuestra que son condicionales al tipo de operación de sincronización. Un fallo silencioso donde el código y el esquema divergen puede llevar a errores de tiempo de ejecución, corrupción de datos o cortes de servicio difíciles de diagnosticar debido al engañoso estado saludable en el dashboard.

Este problema destaca un riesgo arquitectónico más amplio al tratar las migraciones como efectos secundarios del proceso de sincronización en lugar de parte del estado deseado. Cuando las migraciones se desacoplan de las definiciones de recursos principales, se vuelven vulnerables a matices operacionales como las sincronizaciones parciales. Los equipos deben reconocer que la auto-reparación, aunque útil para corregir desviaciones manuales, introduce una ruta que evita eventos críticos del ciclo de vida. Comprender esta distinción es esencial para diseñar pipelines de despliegue resilientes que no dependan de la suerte en la temporización.

Qué puedes hacer

  • Reemplaza los hooks de sincronización con recursos gestionados eliminando las anotaciones de hook y usando ondas de sincronización (sync waves) para ordenar la ejecución.
  • Asigna nombres únicos a los jobs de migración por versión, como incluir la etiqueta de imagen, para asegurar que sean tratados como nuevos recursos.
  • Habilita prune para limpiar viejos jobs de migración y evita establecer ttlSecondsAfterFinished para prevenir borrados prematuros.
  • Deshabilita self-heal en aplicaciones que requieren migraciones obligatorias, aceptando que las desviaciones manuales permanecerán fuera de sincronía hasta el próximo commit.
  • Prueba deliberadamente fallos de migración en entornos de staging para verificar que el nuevo enfoque basado en ondas maneja los errores correctamente.
  • Evita confiar en RunHooksOnPartialSync o cambiar fases de hooks como soluciones, ya que estas no abordan la condición de carrera subyacente.
  • #argo cd
  • #kubernetes
  • #devops
  • #database migrations
  • #gitops

Herramientas de la Tienda de Bytechap

Seguir leyendo

Todos los artículos