Cloud & hạ tầng

Khắc phục vấn đề lập lịch Kubernetes cho khối lượng công việc huấn luyện AI phân tán

Lập lịch mặc định của Kubernetes không đáp ứng được các tác vụ AI phân tán. Việc đặt vị trí nhận biết cấu trúc liên kết (topology-aware placement) và lập lịch nhóm (gang scheduling) thông qua Kueue và Coscheduling giúp giải quyết các vấn đề về độ trễ và đồng b

Biểu đồ hiển thị các kệ máy chủ với kết nối tốc độ cao được quản lý bởi một trình lập lịch trung tâm
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Huấn luyện AI phân tán đặt ra những yêu cầu đặc thù đối với cơ sở hạ tầng cụm mà cách lập lịch chuẩn của Kubernetes không thể đáp ứng. Tính đến tháng 11 năm 2026, Cloud Native Computing Foundation đã nhấn mạnh cách thức mà lập lịch nhận biết cấu trúc liên kết (topology-aware scheduling) và lập lịch nhóm (gang scheduling) giải quyết những khoảng trống này. Các cơ chế này đảm bảo GPU giao tiếp hiệu quả và các tác vụ khởi động đồng thời, ngăn ngừa lãng phí tài nguyên.

Chuyện gì đã xảy ra

Các trình lập lịch Kubernetes tiêu chuẩn coi các pod là những đơn vị độc lập, đặt chúng từng cái một lên bất kỳ node nào có sẵn. Cách tiếp cận này hoạt động tốt đối với các dịch vụ web thông thường nhưng thất bại trong huấn luyện AI phân tán, nơi các pod được liên kết chặt chẽ với nhau. Nếu chỉ một pod trong tác vụ huấn luyện bị chậm hoặc được đặt trên một node ở xa, toàn bộ tác vụ sẽ chịu ảnh hưởng bởi độ trễ cao hoặc bị đình trệ hoàn toàn. Kết quả là phần cứng trông như đang bận rộn nhưng lại cung cấp thông lượng huấn luyện kém.

Để giải quyết vấn đề này, hệ sinh thái đã áp dụng hai chiến lược bổ trợ: lập lịch nhận biết cấu trúc liên kết (TAS) và lập lịch nhóm. TAS đảm bảo rằng các pod được đặt trên phần cứng có băng thông liên-GPU tối ưu, chẳng hạn như trong cùng một rack hoặc node. Lập lịch nhóm đảm bảo tất cả các pod trong một tác vụ khởi động cùng lúc, ngăn chặn tình huống một số GPU ngồi chờ vô ích trong khi đợi các GPU khác sẵn sàng. Các tính năng này được triển khai thông qua các công cụ như Kueue và plugin Coscheduling.

Kueue đóng vai trò như một cổng kiểm soát phía trên trình lập lịch kube-scheduler tiêu chuẩn. Nó đánh giá các tác vụ dựa trên quota, mức độ ưu tiên và các ràng buộc về cấu trúc liên kết trước khi chúng tiếp cận trình lập lịch. Bằng cách nhóm các node vào các miền (domain) như host, rack hoặc block, Kueue giới hạn việc đặt vị trí vào các khu vực đáp ứng yêu cầu băng thông. Điều này ngăn trình lập lịch phân tán các worker qua các liên kết mạng có độ trễ cao, vốn sẽ làm suy giảm nghiêm trọng hiệu suất trong quá trình huấn luyện mô hình quy mô lớn.

Cơ chế hoạt động

Lập lịch nhận biết cấu trúc liên kết dựa vào các nhãn (label) được áp dụng cho các node, chẳng hạn như topology.kubernetes.io/rack. Kueue sử dụng các nhãn này để nhóm các node vào các miền. Khi một tác vụ được gửi đi, Kueue kiểm tra xem một miền duy nhất có thể đáp ứng nhu cầu tài nguyên của tác vụ hay không. Nếu có, nó ghi các ràng buộc vào mẫu pod, buộc trình lập lịch Kubernetes phải đặt tất cả các pod trong miền cụ thể đó. Điều này giữ lưu lượng giao tiếp ở phạm vi cục bộ, sử dụng các liên kết tốc độ cao như NVLink hoặc InfiniBand thay vì các mạng xuyên rack chậm hơn.

Lập lịch nhóm giải quyết vấn đề đồng bộ hóa. Nó sử dụng một tài nguyên tùy chỉnh gọi là PodGroup để theo dõi một tập hợp các pod liên quan. Trình lập lịch giữ tất cả các pod ở trạng thái chờ cho đến khi số lượng pod tối thiểu cần thiết (spec.minMember) có thể được lập lịch đồng thời. Nếu không thể đặt toàn bộ nhóm, không pod nào được khởi động. Điều này ngăn chặn các trường hợp khởi động một phần, nơi tài nguyên đã phân bổ vẫn nằm im, đảm bảo rằng dung lượng GPU chỉ được sử dụng hiệu quả khi toàn bộ tác vụ có thể tiến hành.

Chi tiết chính

  • Độc lập vs. Liên kết: Lập lịch tiêu chuẩn đặt các pod độc lập; huấn luyện AI yêu cầu đặt vị trí phối hợp để giao tiếp có độ trễ thấp.
  • Miền cấu trúc liên kết: Các node được nhóm bằng nhãn vào các miền như host, rack hoặc block để xác định ranh giới băng thông.
  • Vai trò của Kueue: Kueue chấp thuận các tác vụ dựa trên quota và cấu trúc liên kết, ghi các ràng buộc đặt vị trí trước khi trình lập lịch tiêu chuẩn hoạt động.
  • Phối hợp nhóm: Coscheduling sử dụng PodGroups để đảm bảo tất cả các pod cần thiết khởi động cùng nhau, tránh phân bổ tài nguyên một phần.
  • Tác động của độ trễ: Giao tiếp xuyên rack gây ra độ trễ đáng kể, làm giảm hiệu quả sử dụng GPU trong huấn luyện quy mô lớn.
  • Chỉ số xác thực: Các chỉ số chính bao gồm kueue_pending_workloads, kueue_admission_wait_time_seconds và các giai đoạn trạng thái của PodGroup.

Tại sao điều này quan trọng

Đối với các đội ngũ kỹ sư xây dựng cơ sở hạ tầng AI, lập lịch kém hiệu quả trực tiếp dẫn đến chi phí cao hơn và phát triển mô hình chậm hơn. Khi các tác vụ huấn luyện chạy chậm do đặt vị trí kém, tổ chức phải trả tiền cho các giờ GPU không đóng góp vào tính toán có ý nghĩa. Các chỉ số cơ sở hạ tầng có thể hiển thị mức độ sử dụng cao, che giấu sự thật rằng phần cứng bị nghẽn cổ chai bởi độ trễ mạng chứ không phải giới hạn tính toán. Triển khai TAS và lập lịch nhóm đảm bảo rằng các tài nguyên GPU đắt đỏ mang lại thông lượng tối đa.

Hơn nữa, độ tin cậy vận hành được cải thiện khi các tác vụ được lập lịch như những đơn vị gắn kết. Khởi động một phần có thể dẫn đến các kịch bản gỡ lỗi phức tạp, nơi một số worker gặp lỗi hoặc hết thời gian chờ trong khi những worker khác phải đợi. Bằng cách cưỡng chế khởi động đồng thời và đặt vị trí cục bộ, các đội ngũ giảm thiểu bề mặt rủi ro hỏng hóc. Sự dự đoán được này rất quan trọng đối với các tác vụ tiền huấn luyện quy mô lớn, nơi độ trễ của một bước đơn lẻ tích lũy qua hàng nghìn vòng lặp, ảnh hưởng đến tiến độ chung của dự án.

Bạn có thể làm gì

  • Gán nhãn Node: Áp dụng các nhãn cấu trúc liên kết như topology.kubernetes.io/rack cho các node GPU của bạn để bật khả năng đặt vị trí nhận biết miền.
  • Triển khai Kueue: Cài đặt Kueue để quản lý việc chấp thuận tác vụ và thực thi các ràng buộc cấu trúc liên kết trước khi lập lịch.
  • Cấu hình PodGroups: Sử dụng plugin Coscheduling để định nghĩa PodGroups cho các tác vụ huấn luyện của bạn, thiết lập spec.minMember đúng cách.
  • Giám sát Chấp thuận: Theo dõi kueue_pending_workloads để xác định các tác vụ bị kẹt trong hàng đợi do vấn đề quota hoặc cấu trúc liên kết.
  • Xác thực Đặt vị trí: Kiểm tra status.admission.podSetAssignments trong các đối tượng Workload của Kueue để xác nhận các pod nằm trong miền chính xác.
  • Kiểm tra Thông lượng: Tương quan các chỉ số lập lịch với thông lượng huấn luyện để đảm bảo rằng các cải thiện về đặt vị trí chuyển thành lợi ích về hiệu suất.
  • #kubernetes
  • #ai infrastructure
  • #gpu scheduling
  • #machine learning ops
  • #distributed systems

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Tất cả bài viết