Cloud & hạ tầng

Amazon CloudWatch bổ sung khả năng hiển thị GPU và bộ tăng tốc cho các cụm EKS

AWS ra mắt tính năng insights về điện toán tăng tốc, cung cấp khả năng quan sát ở cấp độ thiết bị, phát hiện lãng phí chi phí và tự động khắc phục sự cố cho các khối lượng công việc GPU và bộ tăng tốc AI trên Amazon EKS.

Hình minh họa các máy chủ GPU kết nối với một dashboard giám sát trung tâm hiển thị dữ liệu về sức khỏe và chi phí.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Amazon Web Services đã giới thiệu tính năng insights về điện toán tăng tốc của Amazon CloudWatch, một khả năng mới được thiết kế để mang lại tầm nhìn chi tiết về mức sử dụng GPU và bộ tăng tốc AI trong các cụm Amazon Elastic Kubernetes Service (EKS). Được ra mắt tại KubeCon North America 2026, công cụ này giải quyết những điểm mù vận hành ngày càng gia tăng mà các nhóm nền tảng phải đối mặt khi quản lý các đội hình bộ tăng tốc dùng chung đắt đỏ.

Điều gì đã xảy ra

Các bộ tăng tốc như GPU đã trở thành thành phần tốn kém nhất trong ngân sách hạ tầng hiện đại, nhưng nhiều tổ chức vẫn thiếu tầm nhìn cần thiết để quản lý chúng hiệu quả. Trong môi trường cụm dùng chung, các nhóm nền tảng thường gặp khó khăn trong việc xác định nhóm hoặc khối lượng công việc nào đang tiêu thụ tài nguyên cụ thể, dẫn đến hiệu suất sử dụng thấp và chi phí bất ngờ. Khi hiệu năng suy giảm do lỗi phần cứng hoặc throttling nhiệt, các nhóm thường chỉ phát hiện vấn đề sau khi job thất bại hoặc hóa đơn hàng tháng xuất hiện, buộc họ phải khởi động lại toàn bộ instance thay vì cô lập từng thiết bị lỗi.

Để giải quyết điều này, AWS đã phát hành insights về điện toán tăng tốc, cung cấp một cái nhìn vận hành thống nhất về mọi bộ tăng tốc trong một đội hình EKS. Dịch vụ hỗ trợ GPU NVIDIA, AWS Trainium và AWS Inferentia, chuẩn hóa các số liệu đo lường từ những loại phần cứng khác nhau vào một schema chung. Điều này cho phép các nhóm vận hành đội hình hỗn hợp giám sát tình trạng sức khỏe, mức độ sử dụng và lãng phí chi phí từ một dashboard duy nhất mà không cần các công cụ riêng biệt cho từng nhà cung cấp phần cứng.

Việc ra mắt này tiếp nối loạt bản cập nhật khả năng quan sát mà AWS đã triển khai cho EKS trong suốt năm 2025 và 2026, bao gồm OTel Container Insights và Application Performance Monitoring. Bằng cách thêm telemetry đặc thù cho bộ tăng tốc vào stack hiện có, AWS nhằm thu hẹp khoảng cách giữa giám sát hạ tầng và hiệu năng ứng dụng cho các khối lượng công việc AI.

Cách thức hoạt động

Hệ thống hoạt động bằng cách hội tụ các đường dẫn thu thập dữ liệu tại CloudWatch Metrics API. Đối với GPU NVIDIA, agent CloudWatch và NVIDIA Exporter thu thập các số liệu đo lường ở cấp độ thiết bị, trong khi Unified Accelerator Health Layer chuẩn hóa dữ liệu từ cả GPU và chip Inferentia. Dữ liệu đã chuẩn hóa được đưa vào kho lưu trữ tập trung của CloudWatch thông qua endpoint OpenTelemetry (OTLP), không yêu cầu người dùng phải thiết lập theo từng node hoặc xây dựng pipeline thu thập tùy chỉnh.

Khi dữ liệu bắt đầu chảy, dịch vụ làm phong phú thêm các số liệu đo lường của bộ tăng tốc với metadata Kubernetes, bao gồm pod, namespace, node và các nhãn tùy chỉnh như tên nhóm hoặc ứng dụng. Nó tự động phát hiện các phân vùng Multi-Instance GPU (MIG) và các cơ chế phân bổ tài nguyên khác như Kubernetes Dynamic Resource Allocation (DRA). Ngữ cảnh này cho phép hệ thống quy trách nhiệm sử dụng và mức tiêu thụ bộ nhớ cho các khối lượng công việc cụ thể, giúp theo dõi chính xác ai đang sử dụng tài nguyên nào.

Để xử lý sự cố, công cụ tích hợp với CloudWatch Omni và AWS DevOps Agent. Omni cung cấp cái nhìn lấy ứng dụng làm trung tâm, liên kết trực tiếp hiệu năng khối lượng công việc inference với tình trạng sức khỏe của bộ tăng tốc. DevOps Agent có thể phân tích telemetry, log và các thay đổi gần đây để phân biệt giữa các chế độ lỗi, chẳng hạn như lỗi bộ nhớ đòi hỏi thay thế phần cứng so với lỗi driver có thể giải quyết bằng cách khởi động lại. Sau đó, nó trình bày một kế hoạch hành động dựa trên bằng chứng để phê duyệt hoặc, nếu được cấu hình, thực thi các biện pháp khắc phục một cách tự động.

Chi tiết chính

  • Phần cứng được hỗ trợ: Dịch vụ hỗ trợ GPU NVIDIA, AWS Trainium và AWS Inferentia, với các số liệu đo lường được chuẩn hóa vào một view Accelerator Health duy nhất.
  • Phát hiện lãng phí: Nó xác định ba loại lãng phí có thể khắc phục: cơ hội right-sizing, khoảng trống hiệu quả huấn luyện dựa trên mức sử dụng tensor core và các endpoint inference hoạt động dưới công suất phần cứng.
  • Tích hợp Kubernetes: Dữ liệu bộ tăng tốc được làm phong phú với metadata pod, namespace và node, đồng thời tự động phát hiện các phân vùng MIG và cơ chế DRA mà không cần cấu hình thủ công.
  • Khắc phục tự động: AWS DevOps Agent có thể chẩn đoán nguyên nhân gốc rễ và đề xuất hoặc thực hiện các bản sửa lỗi, chẳng hạn như khởi động lại driver hoặc thay thế node, dựa trên các runbook được định nghĩa trước.
  • Cài đặt: Người dùng kích hoạt tính năng này bằng cách cài đặt hoặc nâng cấp add-on Amazon CloudWatch Observability EKS lên phiên bản 7.0.1 trở lên thông qua eksctl, Helm hoặc Terraform.
  • Ngữ cảnh chi phí: Các con số chi phí được cung cấp là ước tính vận hành để hướng dẫn ra quyết định, không phải dữ liệu hóa đơn chính thức, vốn vẫn có sẵn thông qua AWS Cost Explorer.

Tại sao điều này quan trọng

Đối với kỹ sư phần mềm và trưởng nhóm hạ tầng, giá trị chính nằm ở việc chuyển từ chữa cháy phản ứng sang tối ưu hóa chủ động. Trước đây, một GPU hỏng duy nhất có thể buộc một nhóm phải xoay vòng toàn bộ instance tám GPU, lãng phí tài nguyên lành mạnh và chờ đợi dung lượng khan hiếm quay trở lại. Với tầm nhìn ở cấp độ thiết bị, các nhóm có thể cô lập và thay thế chỉ phần cứng bị lỗi, duy trì thời gian hoạt động cho phần còn lại của khối lượng công việc. Độ chính xác này giảm thiểu downtime và ngăn chặn các chậm trễ dây chuyền thường gây phiền toái cho các job huấn luyện quy mô lớn.

Hơn nữa, khả năng tương quan giữa telemetry phần cứng và hiệu năng ứng dụng giúp các nhà phát triển tối ưu hóa mã nguồn của họ. Bằng cách xác định các endpoint inference chưa được tận dụng hết hoặc các job huấn luyện có mức sử dụng flops mô hình (MFU) thấp, các nhóm có thể điều chỉnh cấu hình để thu được nhiều giá trị hơn từ phần cứng hiện có. Điều này rất quan trọng khi chi phí bộ tăng tốc tiếp tục tăng, khiến hiệu quả trở thành đòn bẩy then chốt để kiểm soát chi tiêu hạ tầng mà không hy sinh hiệu năng.

Những gì bạn có thể làm

  • Nâng cấp add-on Amazon CloudWatch Observability EKS của bạn lên phiên bản 7.0.1 trở lên để bật thu thập dữ liệu bộ tăng tốc.
  • Cài đặt add-on bằng các lệnh eksctl hoặc Helm được cung cấp trong tài liệu AWS để bắt đầu truyền dữ liệu OpenTelemetry ngay lập tức.
  • Mở CloudWatch Omni để xem các khối lượng công việc inference của bạn cùng với các số liệu đo lường sức khỏe bộ tăng tốc và các danh mục lãng phí được xác định.
  • Xem xét view Accelerator Health để xác định các pod hoặc namespace cụ thể tiêu thụ tài nguyên quá mức hoặc gặp lỗi.
  • Cấu hình AWS DevOps Agent để nhận các sự kiện sức khỏe và thử nghiệm khả năng chẩn đoán của nó trên các khối lượng công việc không quan trọng trước khi bật khắc phục tự động.
  • Sử dụng các ước tính lãng phí chi phí để xác định cơ hội right-sizing cho các job huấn luyện được cấp phát quá mức so với mức sử dụng phần cứng thực tế.
  • #aws
  • #kubernetes
  • #gpu
  • #observability
  • #cloudwatch
  • #ai-infrastructure

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Cloud & hạ tầng

Khắc phục vấn đề lập lịch Kubernetes cho khối lượng công việc huấn luyện AI phân tán

Lập lịch mặc định của Kubernetes không đáp ứng được các tác vụ AI phân tán. Việc đặt vị trí nhận biết cấu trúc liên kết (topology-aware placement) và lập lịch nhóm (gang scheduling) thông qua Kueue và Coscheduling giúp giải quyết các vấn đề về độ trễ và đồng b

Tất cả bài viết