Điều kiện tranh chấp trong cơ chế tự sửa lỗi của Argo CD bỏ qua các hook di chuyển cơ sở dữ liệu
Một điều kiện tranh chấp (race condition) trong Argo CD khiến các sync hook bị bỏ qua khi cửa sổ từ chối (deny window) kết thúc, dẫn đến sự không khớp schema mặc dù trạng thái hiển thị là khỏe mạnh.
Được dịch tự động từ bản gốc tiếng Anh.
Một cuộc điều tra gần đây bởi Đại sứ CNCF Afzal Ansari đã tiết lộ một điều kiện tranh chấp nghiêm trọng trong Argo CD, có thể khiến việc di chuyển cơ sở dữ liệu thất bại mà không báo lỗi. Khi cửa sổ từ chối đồng bộ hóa (sync deny window) đóng lại, cơ chế tự sửa lỗi (self-healing) có thể kích hoạt một quá trình đồng bộ hóa một phần, bỏ qua các hook, khiến ứng dụng chạy mã mới trên schema cũ. Vấn đề này ảnh hưởng đến các thiết lập sử dụng đồng bộ hóa tự động với tính năng prune và self-heal được bật cùng với các cửa sổ đồng bộ hóa.
Chuyện gì đã xảy ra
Một khách hàng báo cáo rằng các ứng dụng Argo CD của họ hiển thị trạng thái đồng bộ hóa thành công, nhưng việc di chuyển cơ sở dữ liệu liên quan lại chưa được thực thi. Nhóm phát triển đã đẩy một bản phát hành trong khi cửa sổ từ chối đồng bộ hóa đang hoạt động. Ngay khi cửa sổ hết hạn, năm ứng dụng khu vực đã cố gắng triển khai cùng một commit. Ba ứng dụng đã chạy migration thành công, nhưng hai ứng dụng thì không. Trong khoảng thời gian từ 36 đến 44 phút, các dịch vụ bị ảnh hưởng vẫn vận hành với mã mong đợi schema mới trong khi cơ sở dữ liệu vẫn giữ phiên bản cũ.
Lỗi này khó phát hiện vì giao diện người dùng của Argo CD báo cáo các ứng dụng là Synced (Đã đồng bộ) và Healthy (Khỏe mạnh). Nhật ký hoạt động cho thấy tất cả các tác vụ đều chạy thành công. Chỉ dấu duy nhất của vấn đề được tìm thấy trong nhật ký của controller, cho thấy số lần thử tự sửa lỗi là một và chỉ liệt kê một tập hợp con các tài nguyên. Điều này xác nhận rằng Argo CD đã thực hiện hiệu chỉnh lệch (drift correction) thay vì triển khai đầy đủ, và các hiệu chỉnh lệch không thực thi các hook.
Ansari đã tái tạo vấn đề trong môi trường phòng thí nghiệm được kiểm soát bằng cách sử dụng một ứng dụng đơn giản gồm ConfigMap, Deployment và một Job làm Sync hook cho việc di chuyển. Bằng cách đẩy một bản phát hành trong khi cửa sổ từ chối đang hoạt động và canh thời gian cho lần làm mới định kỳ tiếp theo, anh ấy đã kích hoạt lỗi trong năm trên sáu lần thử. Ứng dụng dường như đã đồng bộ hóa phiên bản mới, nhưng job di chuyển vẫn giữ nhãn của bản phát hành trước đó, chứng minh rằng hook đã bị bỏ qua.
Cách thức hoạt động
Nguyên nhân gốc rễ nằm ở cách Argo CD xử lý các loại làm mới ứng dụng khác nhau. Làm mới cấp độ 2 (level-2 refresh) được điều khiển bởi bộ đếm thời gian đối chiếu (reconciliation timer), thường diễn ra mỗi hai đến ba phút, và so sánh trạng thái trực tiếp với phiên bản mục tiêu trong Git. Làm mới cấp độ 1 (level-1 refresh) được kích hoạt bởi những thay đổi đối với các đối tượng được quản lý và tái sử dụng kiến thức hiện có của controller. Khi một cửa sổ đồng bộ hóa đóng lại, không có sự kiện tường minh nào thông báo về điều này. Lần làm mới tiếp theo, dù là cấp độ 1 hay cấp độ 2, chỉ đơn thuần quan sát thấy rằng việc đồng bộ hóa giờ đây được phép.
Trong suốt cửa sổ từ chối, các lần làm mới cấp độ 2 do bộ đếm thời gian điều khiển vẫn tiếp tục so sánh commit mới và cập nhật trường status.sync.revision, mặc dù không có quá trình đồng bộ hóa thực tế nào diễn ra. Nếu một lần làm mới cấp độ 1 đến trước sau khi cửa sổ đóng, nó sẽ sử dụng phiên bản đã ghi nhận này để so sánh. Controller đánh giá các thay đổi phiên bản, không tìm thấy sự khác biệt giữa phiên bản đã ghi nhận và chính nó, và kết luận rằng không có thay đổi nào đang chờ xử lý. Do đó, kiểm tra alreadyAttemptedSync vượt qua, và controller khởi tạo một thao tác tự sửa lỗi.
Cơ chế tự sửa lỗi thực hiện một quá trình đồng bộ hóa một phần, chỉ cập nhật các tài nguyên bị lệch. Quan trọng là, các quá trình đồng bộ hóa một phần bỏ qua tất cả các hook, bao gồm PreSync, Sync và PostSync hooks. Ngược lại, nếu một lần làm mới cấp độ 2 đến trước, nó sẽ so sánh phiên bản đã đồng bộ hóa cuối cùng với phiên bản mục tiêu, phát hiện sự không khớp và kích hoạt một quá trình đồng bộ hóa đầy đủ bao gồm cả các hook. Lỗi này về cơ bản nhầm lẫn phiên bản được so sánh cuối cùng với phiên bản được đồng bộ hóa cuối cùng trên đường dẫn cấp độ 1.
Chi tiết chính
- Vấn đề xảy ra khi đồng bộ hóa tự động, prune và self-heal được bật cùng với các cửa sổ từ chối đồng bộ hóa.
- Các quá trình đồng bộ hóa một phần được kích hoạt bởi cơ chế tự sửa lỗi bỏ qua tất cả các resource hook, bất kể giai đoạn của chúng.
- Tùy chọn
RunHooksOnPartialSynckhông giải quyết được vấn đề vì nó bị bỏ qua đối với các quá trình đồng bộ hóa tự động. - Việc thay đổi loại hook từ Sync sang PreSync không ngăn được việc bỏ qua, vì các quá trình đồng bộ hóa một phần bỏ qua tất cả các loại hook.
- Điều kiện tranh chấp phụ thuộc vào việc một lần làm mới cấp độ 1 hay cấp độ 2 xảy ra trước sau khi cửa sổ đóng.
- Các ứng dụng xuất hiện khỏe mạnh và đã đồng bộ hóa trong UI ngay cả khi hook di chuyển đã bị bỏ qua.
Tại sao điều này quan trọng
Đối với các nhóm dựa vào Argo CD cho việc phân phối liên tục, hành vi này làm suy yếu độ tin cậy của các quy trình di chuyển cơ sở dữ liệu được quản lý qua các hook. Các kỹ sư thường coi các hook là các bước thực thi được đảm bảo cho những thay đổi schema, nhưng điều kiện tranh chấp này chứng minh rằng chúng phụ thuộc vào điều kiện vào loại thao tác đồng bộ hóa. Một lỗi âm thầm nơi mã và schema phân kỳ có thể dẫn đến lỗi runtime, hỏng dữ liệu hoặc gián đoạn dịch vụ khó chẩn đoán do trạng thái "khỏe mạnh" gây hiểu lầm trên dashboard.
Vấn đề này làm nổi bật một rủi ro kiến trúc rộng lớn hơn trong việc coi các quy trình di chuyển như là tác dụng phụ của quá trình đồng bộ hóa thay vì là một phần của trạng thái mong muốn. Khi các quy trình di chuyển tách rời khỏi các định nghĩa tài nguyên cốt lõi, chúng trở nên dễ bị tổn thương trước các sắc thái vận hành như đồng bộ hóa một phần. Các nhóm phải nhận ra rằng cơ chế tự sửa lỗi, mặc dù hữu ích để hiệu chỉnh lệch thủ công, giới thiệu một đường dẫn bỏ qua các sự kiện vòng đời quan trọng. Hiểu rõ sự khác biệt này là rất cần thiết để thiết kế các pipeline triển khai bền vững không phụ thuộc vào may mắn về thời điểm.
Bạn có thể làm gì
- Thay thế các sync hook bằng các tài nguyên được quản lý bằng cách xóa các chú thích hook và sử dụng sync waves để sắp xếp thứ tự thực thi.
- Gán tên duy nhất cho các job di chuyển cho mỗi bản phát hành, chẳng hạn như bao gồm tag hình ảnh, để đảm bảo chúng được coi là các tài nguyên mới.
- Bật prune để dọn dẹp các job di chuyển cũ và tránh đặt
ttlSecondsAfterFinishedđể ngăn chặn việc xóa sớm. - Tắt self-heal trên các ứng dụng yêu cầu di chuyển bắt buộc, chấp nhận rằng lệch thủ công sẽ vẫn không đồng bộ cho đến commit tiếp theo.
- Kiểm tra có chủ đích các quy trình di chuyển thất bại trong môi trường staging để xác minh rằng phương pháp dựa trên wave mới xử lý lỗi đúng cách.
- Tránh dựa vào
RunHooksOnPartialSynchoặc thay đổi các giai đoạn hook như các biện pháp khắc phục, vì chúng không giải quyết được điều kiện tranh chấp gốc.



