Cloudflare áp dụng thuật toán QuePaxa không lãnh đạo cho cơ chế đồng thuận toàn cầu
Cloudflare đã chọn thuật toán đồng thuận QuePaxa cho dịch vụ Meerkat nhằm xử lý độ trễ cao và sự biến động mạng giữa các trung tâm dữ liệu toàn cầu mà không phụ thuộc vào một node lãnh đạo duy nhất.
Được dịch tự động từ bản gốc tiếng Anh.
Cloudflare vừa giới thiệu Meerkat, một dịch vụ đồng thuận phân tán thử nghiệm được thiết kế để quản lý bảng điều khiển (control plane) nội bộ toàn cầu của họ. Hệ thống này dựa trên QuePaxa, một thuật toán đồng thuận do các nhà nghiên cứu Tennage và Băsescu công bố năm 2023, thay vì các phương pháp truyền thống dựa trên lãnh đạo như Raft hay Paxos. Lựa chọn kiến trúc này giải quyết những thách thức cụ thể trong việc duy trì tính nhất quán xuyên lục địa, nơi độ trễ mạng thường cao và khó dự đoán.
Chuyện gì đã xảy ra
Meerkat hoạt động như một hệ thống phân tán, trong đó nhiều bản sao (replica) thống nhất về một nhật ký sự kiện có thứ tự, chẳng hạn như các thao tác lưu trữ khóa-giá trị (key-value store). Trong khi các hệ thống tương tự như etcd, Consul và Apache ZooKeeper cung cấp những đảm bảo này, chúng thường được triển khai trong các mạng cục bộ với giới hạn độ trễ nghiêm ngặt. Meerkat khác biệt ở chỗ hoạt động ở quy mô toàn cầu, kết nối các cụm máy chủ qua các châu lục thông qua những đường truyền thường xuyên có độ trễ biến đổi và đôi khi gặp vấn đề về kết nối.
Quyết định từ bỏ các thuật toán tiêu chuẩn bắt nguồn từ những sự cố vận hành trước đây. Vào năm 2020, một phần hỏng hóc của switch mạng lõi khiến một hệ thống dựa trên cơ chế đồng thuận bị suy giảm hiệu năng nghiêm trọng. Mặc dù không mất dữ liệu, nhưng dashboard đã chạy chậm gấp tám lần bình thường trong suốt sáu giờ vì hệ thống không thể ghi dữ liệu cho đến khi sự cố mạng được khắc phục. Đối với một bảng điều khiển toàn cầu, mức độ không khả dụng này trong các lỗi mạng tạm thời là không thể chấp nhận được.
Các thuật toán đồng thuận truyền thống thường gặp khó khăn trong mạng diện rộng (WAN) vì chúng phụ thuộc vào một tiến trình lãnh đạo duy nhất. Nếu lãnh đạo đó gặp độ trễ cao hoặc bị ngắt kết nối, toàn bộ hệ thống sẽ bị đình trệ cho đến khi một lãnh đạo mới được bầu chọn. Cloudflare phát hiện ra rằng các cơ chế khôi phục này thường gây ra bất ổn lớn hơn cả lỗi ban đầu, dẫn đến tình trạng gián đoạn kéo dài ngay cả sau khi mạng đã hồi phục. QuePaxa đưa ra một hướng đi mới bằng cách loại bỏ sự phụ thuộc vào một lãnh đạo duy nhất để đạt được tiến độ.
Cách thức hoạt động
Hầu hết các giao thức đồng thuận đã thiết lập, bao gồm Paxos và Raft, đều sử dụng một lãnh đạo để tuần tự hóa các đề xuất và tránh xung đột. Trong Paxos, nhiều bên đề xuất (proposer) có thể can thiệp lẫn nhau bằng cách gửi các số phiếu (ballot number) cạnh tranh, một hiện tượng gọi là nhiễu phá hủy (destructive interference). Để ngăn chặn điều này, các hệ thống như Raft chỉ định một replica làm lãnh đạo, cho phép chỉ node đó đề xuất giá trị. Cách này hoạt động tốt khi mạng ổn định, nhưng tạo ra một điểm lỗi đơn lẻ (single point of failure) ảnh hưởng đến tính sống còn (liveness) của hệ thống.
Khi một lãnh đạo thất bại trong hệ thống kiểu Raft, các replica phải phát hiện lỗi và tổ chức bầu cử. Tuy nhiên, việc phát hiện lỗi trong các mạng bất đồng bộ là không hoàn hảo. Các replica không thể trực tiếp quan sát xem một máy từ xa có bị sập hay không; họ chỉ có thể ghi nhận rằng các tin nhắn mong đợi, chẳng hạn như heartbeat, chưa đến trong khoảng thời gian chờ (timeout window). Trong mạng toàn cầu, các đợt tăng đột biến độ trễ bất ngờ có thể khiến các lãnh đạo khỏe mạnh trông giống như đã thất bại, dẫn đến các cuộc bầu cử không cần thiết.
Những cuộc bầu cử này dễ mắc phải chính dạng nhiễu phá hủy của riêng chúng. Nhiều replica có thể đồng thời ứng cử làm lãnh đạo, cạnh tranh giành đa số phiếu. Nếu không ứng viên nào đạt được đa số, cuộc bầu cử thất bại và khởi động lại. Chu kỳ này, được gọi là lỗi siêu bền (metastable failure), có thể tồn tại rất lâu sau khi sự cố mạng ban đầu đã qua. QuePaxa tránh những cạm bẫy này bằng cách không dựa vào lãnh đạo để đạt tiến độ, qua đó bỏ qua các quy trình khôi phục phức tạp và mong manh liên quan đến bầu cử lãnh đạo.
Chi tiết chính
- Meerkat là một dịch vụ đồng thuận phân tán thử nghiệm dành cho bảng điều khiển toàn cầu nội bộ của Cloudflare.
- Hệ thống sử dụng QuePaxa, một thuật toán đồng thuận do Tennage và Băsescu công bố năm 2023.
- Các thuật toán truyền thống như Raft và Paxos phụ thuộc vào một lãnh đạo duy nhất, tạo ra các lỗ hổng trong mạng diện rộng có độ trễ cao.
- Các hệ thống dựa trên lãnh đạo chịu ảnh hưởng của nhiễu phá hủy trong quá trình bầu cử, nơi nhiều ứng viên chặn lẫn nhau để giành đa số phiếu.
- Việc phát hiện lỗi trong mạng bất đồng bộ không đáng tin cậy, thường khiến các lãnh đạo khỏe mạnh bị đánh dấu nhầm là thất bại do các đợt tăng đột biến độ trễ.
- QuePaxa nhắm mục tiêu duy trì sự ổn định và tính sống còn mà không yêu cầu quy trình bầu cử lãnh đạo khi điều kiện mạng suy giảm.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng hệ thống phân tán, sự chuyển dịch này nhấn mạnh những hạn chế của các công cụ tiêu chuẩn khi mở rộng ra toàn cầu. Hầu hết các nhà phát triển mặc định chọn Raft hoặc các thuật toán tương tự vì chúng được hiểu rõ và có các triển khai trưởng thành. Tuy nhiên, những công cụ này giả định một mức độ đồng bộ mạng không tồn tại trên internet công cộng. Khi triển khai xuyên khu vực hoặc xuyên lục địa, giả định rằng tin nhắn sẽ đến trong một khung thời gian giới hạn bị phá vỡ, dẫn đến các lỗi siêu bền mà Cloudflare đã mô tả.
Việc hiểu rõ cơ chế của nhiễu phá hủy và lỗi siêu bền là rất quan trọng để thiết kế hạ tầng có khả năng phục hồi cao. Nó giải thích tại sao một sự cố mạng ngắn ngủi hai giây có thể dẫn đến vài phút hoặc vài giờ hiệu năng bị suy giảm. Chính cơ chế khôi phục trở thành nút thắt cổ chai, vì hệ thống lãng phí tài nguyên để cố gắng tái thiết lập quyền lãnh đạo thay vì xử lý các yêu cầu. Nhận biết các mẫu hình này giúp các đội ngũ lựa chọn mô hình nhất quán phù hợp với môi trường mạng cụ thể của họ.
Bạn có thể làm gì
- Đánh giá xem hệ thống đồng thuận của bạn có yêu cầu sắp xếp theo lãnh đạo mạnh mẽ hay có thể chấp nhận các mô hình nhất quán thay thế.
- Giám sát các lỗi siêu bền, nơi vòng lặp bầu cử vẫn tiếp diễn sau khi kết nối mạng đã được khôi phục.
- Điều chỉnh cẩn thận các timeout phát hiện lỗi, cân bằng giữa độ nhạy với các lỗi thực tế và cảnh báo giả từ các đợt tăng đột biến độ trễ.
- Xem xét cấu trúc topo mạng của triển khai của bạn; quy mô toàn cầu có thể đòi hỏi các thuật toán không phụ thuộc vào giao tiếp lãnh đạo độ trễ thấp.
- Nghiên cứu tài liệu hiện có về QuePaxa và các giao thức đồng thuận không lãnh đạo khác để tìm tiềm năng ứng dụng trong môi trường độ trễ cao.
- Kiểm tra hành vi của hệ thống dưới các phân vùng mạng mô phỏng để xác định cách các cơ chế khôi phục hoạt động dưới áp lực.



