Nube e infraestructura

Cloudflare adopta el algoritmo sin líder QuePaxa para el consenso global

Cloudflare seleccionó el algoritmo de consenso QuePaxa para su servicio Meerkat con el fin de gestionar la alta latencia y la volatilidad de la red en sus centros de datos globales, sin depender de un único líder.

Un globo terráqueo de cristal con conexiones de red y un eslabón roto simbolizando los desafíos del consenso global.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Cloudflare ha presentado Meerkat, un servicio experimental de consenso distribuido diseñado para gestionar su plano de control interno a escala global. El sistema se basa en QuePaxa, un algoritmo de consenso publicado en 2023 por los investigadores Tennage y Băsescu, en lugar de enfoques tradicionales basados en líderes como Raft o Paxos. Esta decisión arquitectónica aborda los desafíos específicos de mantener la consistencia entre continentes, donde la latencia de red es alta e impredecible.

Qué ocurrió

Meerkat funciona como un sistema distribuido en el que múltiples réplicas acuerdan un registro ordenado de eventos, como operaciones de almacenamiento clave-valor. Aunque sistemas similares como etcd, Consul y Apache ZooKeeper ofrecen estas garantías, suelen desplegarse en redes locales con límites estrictos de latencia. Meerkat se diferencia al operar a escala global, conectando clusters en diferentes continentes mediante enlaces que frecuentemente presentan latencia variable y problemas ocasionales de conectividad.

La decisión de abandonar los algoritmos estándar surge de incidentes operativos pasados. En 2020, una falla parcial en un interruptor de red central provocó un deterioro significativo en un sistema impulsado por consenso. Aunque no se perdió ningún dato, el panel de control funcionó ochenta veces más lento de lo habitual durante seis horas porque el sistema quedó indisponible para escrituras hasta que se resolvió el problema de red. Para un plano de control global, este nivel de indisponibilidad durante fallos transitorios de red es inaceptable.

Los algoritmos de consenso tradicionales a menudo tienen dificultades en redes de área amplia porque dependen de un único proceso líder. Si ese líder experimenta alta latencia o se desconecta, todo el sistema se detiene hasta que se elige un nuevo líder. Cloudflare descubrió que estos mecanismos de recuperación a menudo introducen más inestabilidad que el fallo original, lo que provoca cortes prolongados incluso después de que la red se recupera. QuePaxa ofrece una vía de avance al eliminar la dependencia de un único líder para realizar progresos.

Cómo funciona

La mayoría de los protocolos de consenso establecidos, incluidos Paxos y Raft, utilizan un líder para serializar las propuestas y evitar conflictos. En Paxos, múltiples proponentes pueden interferir entre sí al presentar números de votación competitivos, un fenómeno conocido como interferencia destructiva. Para prevenir esto, sistemas como Raft designan una réplica como líder, permitiendo que solo ese nodo proponga valores. Esto funciona bien cuando la red es estable, pero crea un punto único de fallo para la vivacidad (liveness).

Cuando un líder falla en un sistema tipo Raft, las réplicas deben detectar la falla y celebrar una elección. Sin embargo, la detección de fallos en redes asíncronas es imperfecta. Las réplicas no pueden observar directamente si una máquina remota se ha bloqueado; solo pueden notar que los mensajes esperados, como los latidos (heartbeats), no han llegado dentro de una ventana de tiempo límite. En redes globales, picos súbitos de latencia pueden hacer que líderes sanos parezcan fallidos, desencadenando elecciones innecesarias.

Estas elecciones son propensas a su propia forma de interferencia destructiva. Múltiples réplicas pueden postularse simultáneamente para el liderazgo, compitiendo por votos mayoritarios. Si ningún candidato obtiene la mayoría, la elección fracasa y se reinicia. Este ciclo, conocido como fallo metastable, puede persistir mucho después de que haya pasado el glitch inicial de la red. QuePaxa evita estas trampas al no depender de un líder para realizar progresos, eludiendo así los procesos complejos y frágiles de recuperación asociados con las elecciones de líder.

Detalles clave

  • Meerkat es un servicio experimental de consenso distribuido para el plano de control interno global de Cloudflare.
  • El sistema utiliza QuePaxa, un algoritmo de consenso publicado por Tennage y Băsescu en 2023.
  • Los algoritmos tradicionales como Raft y Paxos dependen de un único líder, lo que crea vulnerabilidades en redes de área amplia con alta latencia.
  • Los sistemas basados en líderes sufren de interferencia destructiva durante las elecciones, donde múltiples candidatos se bloquean mutuamente para obtener una mayoría de votos.
  • La detección de fallos en redes asíncronas es poco fiable, causando a menudo que líderes sanos sean marcados erróneamente como fallidos debido a picos de latencia.
  • QuePaxa busca mantener la estabilidad y la vivacidad sin requerir un proceso de elección de líder cuando las condiciones de la red se degradan.

Por qué importa

Para los ingenieros que construyen sistemas distribuidos, este cambio destaca las limitaciones de las herramientas estándar al escalar globalmente. La mayoría de los desarrolladores recurren por defecto a Raft o algoritmos similares porque están bien comprendidos y tienen implementaciones maduras. Sin embargo, estas herramientas asumen un nivel de sincronía de red que no existe en Internet público. Al desplegar entre regiones o continentes, la suposición de que los mensajes llegarán dentro de un marco temporal limitado se rompe, dando lugar a los fallos metastables descritos por Cloudflare.

Comprender los mecanismos de la interferencia destructiva y del fallo metastable es crucial para diseñar infraestructura resiliente. Explica por qué una breve interrupción de red de dos segundos puede resultar en minutos u horas de rendimiento degradado. El propio mecanismo de recuperación se convierte en el cuello de botella, ya que el sistema gasta recursos intentando restablecer el liderazgo en lugar de procesar solicitudes. Reconocer estos patrones ayuda a los equipos a elegir el modelo de consistencia adecuado para su entorno de red específico.

Qué puedes hacer

  • Evalúa si tu sistema de consenso requiere un ordenamiento fuerte basado en líder o si puede tolerar modelos de consistencia alternativos.
  • Monitoriza los fallos metastables donde los bucles de elección persisten después de restaurada la conectividad de red.
  • Ajusta cuidadosamente los tiempos de espera para la detección de fallos, equilibrando la sensibilidad ante fallos reales frente a falsos positivos causados por picos de latencia.
  • Considera la topología de red de tu despliegue; las escalas globales pueden requerir algoritmos que no dependan de comunicación de baja latencia con el líder.
  • Revisa la documentación existente sobre QuePaxa y otros protocolos de consenso sin líder para posibles aplicaciones en entornos de alta latencia.
  • Prueba el comportamiento del sistema bajo particiones de red simuladas para identificar cómo rinden los mecanismos de recuperación bajo estrés.
  • #distributed systems
  • #consensus algorithms
  • #cloudflare
  • #network engineering
  • #quepaxa

Herramientas de la Tienda de Bytechap

Seguir leyendo

Todos los artículos