NVIDIA Mission Control 2.5 bổ sung khả năng tự động khôi phục cho các khối lượng công việc AI trên Kubernetes

NVIDIA đã phát hành Mission Control 2.5, mở rộng engine khôi phục tự động để hỗ trợ các khối lượng công việc AI dựa trên Kubernetes được quản lý bởi NVIDIA Run:ai. Trước đây vốn chỉ giới hạn trong các môi trường điện toán hiệu năng cao (HPC) sử dụng Slurm, bản cập nhật này cho phép các nhà máy AI tự động phát hiện, chẩn đoán và khôi phục sau các bất thường về hạ tầng mà không cần sự can thiệp thủ công.

Điều gì đã xảy ra

Điểm cốt lõi của bản phát hành này là việc tích hợp trực tiếp một framework khôi phục tự động vào vòng lặp lập lịch của Kubernetes. Hệ thống này được thiết kế để giải quyết những thách thức đặc thù của quá trình huấn luyện AI hiện đại, nơi các tác vụ chạy trên hàng trăm nút (node) trong nhiều ngày hoặc nhiều tuần. Ở quy mô này, giám sát phản ứng truyền thống và xử lý sự cố thủ công trở thành điểm nghẽn làm lãng phí tài nguyên bộ tăng tốc đắt đỏ.

Mission Control 2.5 giới thiệu vòng lặp điều khiển ba lớp, phối hợp giữa bộ lập lịch Kubernetes, dịch vụ khôi phục tác vụ tự động và dịch vụ khôi phục phần cứng tự động. Kiến trúc này cho phép nền tảng phân biệt giữa các loại lỗi khác nhau. Nó có thể khởi động lại một tác vụ do lỗi phần mềm tạm thời, đồng thời cách ly một nút đang gặp suy giảm phần cứng, đảm bảo rằng các tài nguyên bị lỗi không làm gián đoạn các khối lượng công việc tiếp theo.

Việc mở rộng này đánh dấu sự chuyển đổi từ các quy trình xử lý sự cố phụ thuộc vào từng bộ lập lịch cụ thể sang một mô hình vận hành thống nhất, nhận biết được bộ lập lịch. Các đội ngũ nền tảng quản lý môi trường hỗn hợp gồm cả Kubernetes và Slurm giờ đây có thể áp dụng một chiến lược khả dụng chung nhất quán. Mục tiêu là giảm thiểu thời gian sửa chữa trung bình (mean-time-to-repair) và tối đa hóa mức độ sử dụng cụm GPU bằng cách giữ cho các khối lượng công việc luôn hoạt động thay vì bị đình trệ trong trạng thái mơ hồ.

Cách thức hoạt động

Engine khôi phục tự động hoạt động như một hệ thống phối hợp gồm ba thành phần riêng biệt. Đầu tiên, bộ lập lịch Kubernetes, được cung cấp sức mạnh bởi NVIDIA Run:ai, xử lý việc đặt chỗ khối lượng công việc, xếp hàng đợi và thực thi chính sách. Nó xác định nơi các tác vụ nên chạy dựa trên dung lượng khả dụng và yêu cầu tài nguyên.

Thứ hai, dịch vụ khôi phục tác vụ tự động đóng vai trò là lớp ngữ cảnh. Nó giám sát các tác vụ đang chạy, theo dõi vị trí thực thi và phân tích lịch sử lỗi cũng như cấu trúc liên kết của tác vụ. Khi xảy ra lỗi, dịch vụ này phân loại vấn đề để xác định đường dẫn khôi phục phù hợp, chẳng hạn như thử lại, khởi động lại hoặc đưa vào lại hàng đợi. Nó đảm bảo hệ thống không phản ứng thái quá với các lỗi phần mềm nhỏ, tạm thời bằng cách tránh việc sửa chữa phần cứng không cần thiết.

Thứ ba, dịch vụ khôi phục phần cứng tự động quản lý tình trạng sức khỏe của hạ tầng. Nó giám sát các nút và GPU để tìm kiếm các dấu hiệu suy giảm, chẳng hạn như lỗi ECC hoặc timeout giao tiếp. Nếu phát hiện lỗi phần cứng, dịch vụ này sẽ cô lập nút bị ảnh hưởng khỏi pool lập lịch và bắt đầu quá trình chẩn đoán. Quy trình này chạy song song với việc khôi phục tác vụ, cho phép khối lượng công việc tiếp tục trên các nút khỏe mạnh trong khi phần cứng bị lỗi được sửa chữa hoặc xác minh.

Chi tiết quan trọng

• Kiến trúc ba lớp: Hệ thống tích hợp bộ lập lịch Kubernetes, khôi phục tác vụ tự động và khôi phục phần cứng tự động vào một vòng lặp điều khiển duy nhất.
• Các luồng khôi phục song song: Trong trường hợp lỗi phần cứng, tác vụ được khởi động lại hoặc lên lịch lại ngay lập tức trong khi nút bị lỗi được cách ly và chẩn đoán ở nền tảng.
• Thử lại dựa trên ngữ cảnh: Dịch vụ khôi phục tác vụ sử dụng lịch sử lỗi để phân biệt giữa lỗi phần mềm tạm thời và các vấn đề phần cứng dai dẳng, ngăn chặn việc loại bỏ nút không cần thiết.
• Phát hiện suy giảm chủ động: Dịch vụ khôi phục phần cứng có thể xác định các nút rủi ro trước khi chúng gây ra lỗi tác vụ, loại bỏ chúng khỏi pool lập lịch một cách phòng ngừa.
• Mô hình thống nhất: Bản cập nhật cung cấp một framework khôi phục nhất quán cho cả môi trường Kubernetes và Slurm, đơn giản hóa vận hành cho các đội ngũ hạ tầng lai.
• Tính năng bổ sung: Phiên bản 2.5 cũng bao gồm tính năng phát hiện bất thường mạng dựa trên AI (beta), cải thiện xác thực Keycloak và các bản vá an toàn cho Kubernetes.

Tại sao điều này quan trọng

Đối với các đội ngũ kỹ thuật xây dựng sản phẩm AI quy mô lớn, độ tin cậy của hạ tầng đóng góp trực tiếp vào tốc độ phát triển và hiệu quả chi phí. Khi một tác vụ huấn luyện phân tán thất bại sau nhiều ngày chạy, thời gian tính toán bị mất và sự chậm trễ trong các vòng lặp mô hình là rất đáng kể. Bằng cách tự động hóa quy trình khôi phục, Mission Control 2.5 giảm bớt gánh nặng vận hành cho các kỹ sư nền tảng, những người nếu không sẽ phải tự tay điều tra log, cô lập nút và khởi động lại tác vụ.

Khả năng phân biệt giữa lỗi phần mềm và phần cứng đặc biệt quan trọng. Trong nhiều thiết lập truyền thống, một lỗi nút đơn lẻ có thể kích hoạt cảnh báo rộng rãi hoặc yêu cầu kiểm tra thủ công toàn bộ cụm. Sự kiềm chế của hệ thống này trong việc xử lý các lỗi phần mềm tạm thời có nghĩa là phần cứng khỏe mạnh vẫn nằm trong pool lập lịch, duy trì mức độ sử dụng cụm tổng thể cao hơn. Ngược lại, việc loại bỏ chủ động các nút đang suy giảm ngăn chặn các lỗi dây chuyền có thể làm gián đoạn nhiều lần chạy huấn luyện đồng thời.

Sự chuyển dịch hướng tới hạ tầng tự chữa lành này cho phép các tổ chức mở rộng quy mô các nhà máy AI của họ một cách tự tin hơn. Khi số lượng các khối lượng công việc đa nút đồng thời tăng lên, độ phức tạp của việc quản lý thủ công tăng theo cấp số nhân. Khôi phục tự động đảm bảo rằng hạ tầng có thể xử lý quy mô này mà không cần tăng tương ứng số lượng nhân sự vận hành hoặc rủi ro lỗi con người trong quá trình phản ứng sự cố.

Những gì bạn có thể làm

• Xem xét hub tài liệu chính thức để hiểu lộ trình nâng cấp cho người dùng Mission Control hiện tại chuyển sang phiên bản 2.5.
• Đánh giá các chính sách lập lịch Kubernetes hiện tại của bạn để đảm bảo chúng phù hợp với khả năng tự động thử lại và khởi động lại của NVIDIA Run:ai.
• Triển khai các chiến lược checkpointing (lưu điểm) vững chắc trong các pipeline huấn luyện của bạn để bổ sung cho engine khôi phục tự động, giảm thiểu mất dữ liệu khi khởi động lại tác vụ.
• Giám sát dịch vụ phát hiện bất thường mạng dựa trên AI mới ở giai đoạn beta để xác định các vấn đề kết nối tiềm ẩn trước khi chúng ảnh hưởng đến sự ổn định của quá trình huấn luyện.
• Kiểm toán các quy trình bảo trì phần cứng của bạn để tích hợp với các tính năng chẩn đoán và cách ly tự động do dịch vụ khôi phục phần cứng cung cấp.
• Kiểm tra hành vi của hệ thống với các lỗi tạm thời được mô phỏng để xác minh rằng dịch vụ khôi phục tác vụ đúng cách tránh việc sửa chữa phần cứng không cần thiết.