NVIDIA Workload Map thống nhất việc phân tích khối lượng công việc AI trên Kubernetes

NVIDIA đã phát hành Workload Map, một thành phần mã nguồn mở được thiết kế để chuẩn hóa cách các công cụ Kubernetes diễn giải các khối lượng công việc AI phân tán. Được công bố vào tháng 11 năm 2026 như một phần của nền tảng NVIDIA DSX AI Factory Platform, dự án này nhằm mục đích xóa bỏ sự phân mảnh do các định nghĩa tài nguyên tùy chỉnh (custom resource definitions) đa dạng giữa các framework AI khác nhau.

Chuyện gì đã xảy ra

Việc vận hành hạ tầng AI trên Kubernetes thường liên quan đến quản lý các tác vụ phân tán phức tạp, chẳng hạn như các job huấn luyện đa nút hoặc máy chủ suy luận. Những khối lượng công việc này hiếm khi chỉ là một pod đơn lẻ; chúng là những cây tài nguyên với các vai trò cụ thể, số lượng bản sao và chỉ báo trạng thái. Tuy nhiên, mỗi framework AI lại mã hóa thông tin này theo cách khác nhau. Ví dụ, JobSet, LeaderWorkerSet và RayCluster đều sử dụng các định nghĩa tài nguyên tùy chỉnh (CRD) riêng biệt để mô tả cấu trúc của chúng.

Sự đa dạng này tạo ra gánh nặng đáng kể cho các đội ngũ xây dựng scheduler, controller, dashboard hoặc công cụ quản lý chi phí. Các nhà phát triển phải viết mã adapter riêng cho từng framework mới mà họ muốn hỗ trợ. Việc phát triển adapter trở thành một hạng mục lặp đi lặp lại trong lộ trình sản phẩm thay vì một chi phí kỹ thuật một lần, thường làm chậm trễ việc hỗ trợ các loại khối lượng công việc mới cho đến khi có bản phát hành phần mềm cụ thể.

Để giải quyết vấn đề này, NVIDIA đã giới thiệu Workload Map, cung cấp một mô tả chung về cấu trúc khối lượng công việc Kubernetes. Dự án đi kèm với một danh mục các định nghĩa dựng sẵn cho các framework phổ biến bao gồm JobSet, PyTorchJob, RayCluster, RayJob, RayService, KServe, Knative, MPIJob, NVIDIA NIM, LeaderWorkerSet, Milvus, Grove PodCliqueSet và NVIDIA Dynamo. Bằng cách chuyển kiến thức về khối lượng công việc từ các adapter biên dịch sang dữ liệu khai báo, công cụ này cho phép các nền tảng diễn giải các loại khối lượng công việc được hỗ trợ mà không cần duy trì logic phân tích riêng cho từng loại.

Cách hoạt động

Workload Map hoạt động như một CRD Kubernetes, trước đây được biết đến với tên gọi Karta, đi kèm với một thư viện Go để diễn giải các định nghĩa khối lượng công việc này. Mỗi định nghĩa chỉ rõ chính xác vị trí tìm thấy template pod, số lượng bản sao và các trường trạng thái cho một loại khối lượng công việc cụ thể. Thư viện Go phân giải một đối tượng đang chạy thành một cái nhìn cấu trúc đồng nhất, cho phép người dùng trích xuất metadata, cập nhật spec pod và hiểu rõ hệ thống phân cấp của khối lượng công việc một cách nhất quán.

Một tính năng quan trọng là lớp dịch thuật cho ánh xạ trạng thái. Vì các framework khác nhau báo cáo trạng thái theo những cách khác nhau, các định nghĩa Workload Map ánh xạ các điều kiện gốc sang một bộ từ vựng chung. Ví dụ, JobSet không báo cáo một điều kiện "Running" đơn giản. Thay vào đó, định nghĩa sử dụng biểu thức jq để suy ra trạng thái này bằng cách kiểm tra xem có bất kỳ job nào sẵn sàng và đang hoạt động hay không, đồng thời đảm bảo không có job nào thất bại. Điều này đảm bảo rằng một RayJob hoặc LeaderWorkerSet có thể ánh xạ các chỉ báo trạng thái độc đáo của chúng sang cùng các danh mục tiêu chuẩn được sử dụng bởi các công cụ giám sát.

Hệ thống hỗ trợ nhiều mẫu sử dụng. CLI Workload Map có thể kiểm tra trực tiếp các khối lượng công việc từ cụm mà không cần cài đặt CRD, hiển thị dưới dạng cây các vai trò và yêu cầu tài nguyên. Đối với việc lập lịch, KAI Scheduler sử dụng các định nghĩa này để thực thi gang scheduling, đảm bảo rằng tất cả các pod trong một nhóm được lập lịch cùng lúc. Các nền tảng như NVIDIA Run:ai sử dụng cùng các định nghĩa để quản lý khả năng hiển thị, trình bày một job phân tán như một thực thể hợp nhất duy nhất thay vì một tập hợp các pod rời rạc.

Chi tiết chính

• Workload Map cung cấp các định nghĩa dựng sẵn cho hơn mười framework AI lớn, bao gồm JobSet, RayCluster và PyTorchJob.
• Dự án có sẵn dưới giấy phép Apache 2.0 và là một phần của nền tảng NVIDIA DSX AI Factory Platform.
• Một thư viện Go và CLI cho phép các công cụ phân giải các đối tượng đang chạy thành một cái nhìn cấu trúc đồng nhất mà không cần parser tùy chỉnh.
• Các ánh xạ trạng thái sử dụng biểu thức jq để dịch các điều kiện đặc thù của framework sang các trạng thái tiêu chuẩn như Running, Completed hoặc Failed.
• Bộ lập lịch Nova của Elotl sử dụng Workload Map để diễn giải cấu trúc khối lượng công việc cho các quyết định lập lịch đa cụm.
• CLI có thể kiểm tra các khối lượng công việc chỉ bằng kubeconfig, không yêu cầu cài đặt CRD Workload Map trong cụm.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng hạ tầng AI, Workload Map giảm thiểu chi phí bảo trì khi hỗ trợ các framework mới. Thay vì viết và thử nghiệm mã adapter mới cho từng CRD, các nhà phát triển có thể dựa vào một giao diện chuẩn hóa. Điều này đẩy nhanh quá trình tích hợp các công cụ AI mới vào các nền tảng hiện có và đảm bảo rằng các scheduler và monitor có thể diễn giải chính xác các yêu cầu của khối lượng công việc ngay từ ngày đầu tiên.

Việc chuẩn hóa cũng cải thiện khả năng hiển thị vận hành. Nếu không có một mô tả chung, các nhà vận hành phải tự tay tái tạo cấu trúc khối lượng công việc để hiểu tổng mức sử dụng tài nguyên, chẳng hạn như tổng hợp yêu cầu GPU trên nhiều pod. Workload Map tự động hóa việc tổng hợp này, cung cấp cái nhìn rõ ràng về hệ thống phân cấp và mức tiêu thụ tài nguyên của các job phân tán. Sự rõ ràng này rất cần thiết cho việc quản lý chi phí hiệu quả và lập kế hoạch dung lượng trong các nhà máy AI quy mô lớn.

Hơn nữa, việc tách biệt diễn giải khối lượng công việc khỏi mã nền tảng cụ thể thúc đẩy một hệ sinh thái module hơn. Các công cụ như KAI Scheduler và NVIDIA Run:ai có thể chia sẻ cùng các định nghĩa, giảm thiểu sự trùng lặp nỗ lực. Khi danh mục các framework được hỗ trợ tăng lên, rào cản gia nhập cho các khối lượng công việc AI mới trên Kubernetes giảm xuống, cho phép áp dụng nhanh chóng các công nghệ mới nổi mà không ảnh hưởng đến khả năng quản lý.

Bạn có thể làm gì

• Khám phá danh mục khối lượng công việc trong kho lưu trữ GitHub NVIDIA DSX AI Factory để tìm các định nghĩa cho các framework bạn đang sử dụng.
• Cài đặt CLI Workload Map bằng Homebrew để kiểm tra các khối lượng công việc Kubernetes hiện có và hình dung cấu trúc của chúng.
• Xem xét ví dụ định nghĩa JobSet để hiểu cách ánh xạ trạng thái và template pod được khai báo trong YAML.
• Nếu bạn sử dụng KAI Scheduler, hãy cấu hình nó để sử dụng Workload Map như một phương án dự phòng cho việc nhóm pod trên các loại khối lượng công việc chưa được hỗ trợ.
• Tham gia workspace Slack NVIDIA DSX AI Factory để thảo luận về các tích hợp và chia sẻ phản hồi về các định nghĩa khối lượng công việc.
• Cân nhắc viết một định nghĩa YAML tùy chỉnh nếu bạn vận hành một framework ngách chưa có trong danh mục dựng sẵn.