Chia sẻ GPU trên Amazon EKS với tính năng phân chia của NVIDIA Run:ai
Một hướng dẫn kỹ thuật minh họa cách sử dụng NVIDIA Run:ai GPU Fractioning Operator mã nguồn mở để chia sẻ một GPU A10G duy nhất cho nhiều pod trên Amazon EKS.
Được dịch tự động từ bản gốc tiếng Anh.
Amazon Web Services đã công bố một hướng dẫn kỹ thuật vào ngày 19 tháng 11 năm 2026, chi tiết hóa cách triển khai việc chia sẻ GPU trên Amazon Elastic Kubernetes Service (EKS) bằng phần mềm NVIDIA Run:ai mới được mã nguồn mở. Hướng dẫn này tập trung vào GPU Fractioning Operator, cho phép nhiều khối lượng công việc chia sẻ một GPU vật lý duy nhất bằng cách áp đặt các giới hạn bộ nhớ nghiêm ngặt cho từng pod. Phương pháp này nhắm đến các kịch bản mà việc cấp phát toàn bộ GPU là không hiệu quả, chẳng hạn như notebook tương tác hoặc các dịch vụ suy luận nhỏ.
Điều gì đã xảy ra
NVIDIA đã thông báo về phiên bản mã nguồn mở của nền tảng Run:ai vào ngày 13 tháng 10 năm 2026. Đáp lại, AWS đã phát hành một hướng dẫn triển khai đã được xác thực, cho thấy cách tích hợp hai thành phần cụ thể của bộ giải pháp này—KAI Scheduler và GPU Fractioning Operator—vào cụm Amazon EKS. Hướng dẫn giải quyết một nút thắt cổ chai phổ biến trong hạ tầng AI: khi GPU còn bộ nhớ trống nhưng bị chặn vì một tác vụ trước đó đã dành riêng toàn bộ thiết bị.
Buổi trình diễn sử dụng một instance Amazon EC2 g5.xlarge đơn lẻ được trang bị GPU NVIDIA A10G Tensor Core. Trong cấu hình tiêu chuẩn, chỉ một pod có thể truy cập GPU này tại một thời điểm, ngay cả khi nó chỉ sử dụng một phần nhỏ trong số 23.028 MiB bộ nhớ khả dụng. Bằng cách cài đặt GPU Fractioning Operator, hệ thống kích hoạt cơ chế chia sẻ dựa trên phần mềm. Điều này cho phép hai pod riêng biệt chạy đồng thời trên cùng một GPU vật lý, mỗi pod bị ràng buộc bởi một thỏa thuận bộ nhớ đã định nghĩa.
Giải pháp này khác biệt so với phân vùng ở cấp độ phần cứng như Multi-Instance GPU (MIG), vốn yêu cầu phần cứng hỗ trợ cụ thể. Thay vào đó, nó xây dựng dựa trên Multi-Process Service (MPS) và bổ sung thêm khả năng lập lịch và thực thi gốc Kubernetes. Hướng dẫn nhấn mạnh rằng phương pháp này phù hợp với các GPU không hỗ trợ MIG hoặc khi việc linh hoạt điều chỉnh kích thước bộ nhớ được ưu tiên hơn so với các phân vùng phần cứng cứng nhắc.
Cách thức hoạt động
Cơ chế cốt lõi dựa vào GPU Fractioning Operator, tích hợp với scheduler Kubernetes để quản lý việc cấp phát tài nguyên. Khác với các plugin thiết bị tiêu chuẩn chỉ hiển thị GPU như một tài nguyên nhị phân duy nhất, operator này giới thiệu khái niệm về các thỏa thuận bộ nhớ. Mỗi pod yêu cầu một lượng bộ nhớ GPU cụ thể, ví dụ như 8 GiB, thay vì toàn bộ thiết bị. Sau đó, operator đảm bảo rằng tổng các thỏa thuận này không vượt quá giới hạn vật lý của GPU.
Bên dưới lớp giao diện, hệ thống sử dụng một daemon tên là fractiond được tích hợp qua Node Resource Interface (NRI). Thành phần này giao tiếp với driver NVIDIA để thực thi các giới hạn bộ nhớ và cô lập các khối lượng công việc. Nó cũng tận dụng MPS để cho phép các tiến trình CUDA đồng thời từ các container khác nhau thực thi trên cùng một GPU. Trong khi MPS xử lý tính đồng thời của việc tính toán, operator xử lý logic lập lịch và thực thi bộ nhớ, cung cấp các số liệu đo lường cho mức sử dụng của từng pod.
Việc triển khai yêu cầu một image Amazon Linux 2023 tùy chỉnh vì các image tối ưu hóa cho EKS tiêu chuẩn chưa bao gồm nhánh driver R615 cần thiết tại thời điểm xác thực. Phiên bản driver 615.71.10 rất quan trọng để hỗ trợ các tính năng phân chia. Một khi image tùy chỉnh được xây dựng và triển khai, KAI Scheduler sẽ đảm nhận việc đặt vị trí pod, đảm bảo rằng các pod có yêu cầu bộ nhớ tương thích được đặt cùng chỗ trên cùng một node GPU.
Chi tiết chính
- Phần cứng đã xác thực: Hướng dẫn đặc biệt xác thực thiết lập trên GPU NVIDIA A10G bên trong instance EC2 g5.xlarge tại khu vực us-east-2.
- Phiên bản phần mềm: Bài kiểm tra sử dụng Amazon EKS phiên bản 1.36, driver NVIDIA 615.71.10 và GPU Fractioning Operator phiên bản 0.1.7.
- Thỏa thuận bộ nhớ: Trong buổi demo, hai pod mỗi pod yêu cầu giới hạn bộ nhớ 8 GiB. Cả hai đều phân bổ thành công 6 GiB bộ nhớ thực tế, để lại chỗ cho chi phí vận hành (overhead).
- Thực thi: Khi một pod cố gắng phân bổ 9 GiB trái với thỏa thuận 8 GiB, việc phân bổ thất bại với lỗi hết bộ nhớ, chứng minh rằng giới hạn được thực thi.
- Yêu cầu AMI tùy chỉnh: Người dùng phải xây dựng một Amazon Machine Image (AMI) tùy chỉnh với nhánh driver R615, vì image NVIDIA AL2023 mặc định của EKS sử dụng các nhánh cũ hơn R580/R595.
- Không đảm bảo an ninh: Hướng dẫn nêu rõ rằng mặc dù bộ nhớ bị giới hạn, việc chứa lỗi không phải là một đảm bảo an ninh. Các khối lượng công việc chia sẻ một miền lỗi tùy thuộc vào chế độ tính toán.
Tại sao điều này quan trọng
Đối với các nhóm kỹ sư xây dựng sản phẩm AI, chi phí GPU chiếm một phần đáng kể trong ngân sách hạ tầng. Bộ nhớ GPU nhàn rỗi đại diện cho lãng phí chi tiêu. Bằng cách kích hoạt tính năng phân chia, các tổ chức có thể tăng mật độ khối lượng công việc trên các instance GPU đắt đỏ. Điều này đặc biệt có giá trị đối với môi trường phát triển, nơi các nhà khoa học dữ liệu chạy notebook Jupyter có thể ngồi chờ trong thời gian dài, hoặc cho các tác vụ đánh giá hàng loạt đòi hỏi tài nguyên GPU tối thiểu.
Tuy nhiên, phương pháp này đưa vào sự phức tạp trong quản lý cụm. Các kỹ sư phải từ bỏ mô hình tư duy đơn giản "một pod mỗi GPU" và bắt đầu quản lý các thỏa thuận bộ nhớ. Điều này đòi hỏi giám sát cẩn thận để đảm bảo rằng các yêu cầu bộ nhớ tích lũy không dẫn đến tình trạng tranh chấp làm giảm hiệu suất cho tất cả các khối lượng công việc chia sẻ. Nó cũng đòi hỏi kiểm soát phiên bản chặt chẽ đối với driver và operator, như thấy trong nhu cầu về một AMI tùy chỉnh.
Hơn nữa, giải pháp này lấp đầy khoảng trống cho phần cứng không hỗ trợ MIG. Nhiều instance GPU hiện có trong môi trường đám mây thiếu khả năng MIG. Việc phân chia dựa trên phần mềm cung cấp một con đường để cải thiện mức độ sử dụng cho các thiết bị cũ hoặc không hỗ trợ MIG mà không cần nâng cấp phần cứng. Nó cung cấp một giải pháp trung gian giữa sự cô lập của MIG và việc chia sẻ không kiểm soát của time-slicing cơ bản.
Bạn có thể làm gì
- Đánh giá hồ sơ khối lượng công việc: Xác định các khối lượng công việc có mức sử dụng bộ nhớ GPU thấp hoặc gián đoạn, chẳng hạn như script đánh giá mô hình hoặc notebook phát triển, làm ứng viên cho việc phân chia.
- Xác thực tương thích Driver: Kiểm tra xem các instance GPU hiện tại của bạn có hỗ trợ nhánh driver NVIDIA R615 yêu cầu hoặc mới hơn hay không trước khi thử nghiệm triển khai.
- Xây dựng AMI tùy chỉnh: Chuẩn bị một pipeline để xây dựng và duy trì các image Amazon Linux 2023 tùy chỉnh với phiên bản driver NVIDIA và container toolkit chính xác.
- Kiểm tra giới hạn bộ nhớ: Bắt đầu với các thỏa thuận bộ nhớ thận trọng. Đo lường mức sử dụng đỉnh của các ứng dụng của bạn và cộng thêm chi phí vận hành trước khi thiết lập giới hạn trong đặc tả pod.
- Giám sát số liệu theo Pod: Triển khai giám sát cho số liệu
gpu_fractioning_gpu_memory_used_bytesđể theo dõi mức sử dụng thực tế so với các giới hạn đã thỏa thuận. - Sử dụng môi trường dùng một lần: Thử nghiệm thiết lập trong một cụm tạm thời trước, vì cấu hình liên quan đến các tương tác phức tạp giữa scheduler, operator và driver.


