Phát hiện lỗi GPU âm thầm trong quá trình huấn luyện LLM quy mô lớn trên SageMaker
Amazon chi tiết hóa một phương pháp phát hiện hỏng hóc dữ liệu âm thầm (silent data corruption) trên SageMaker HyperPod bằng cách bổ sung ba bước kiểm tra vào vòng lặp huấn luyện PyTorch, giúp ngăn chặn việc lãng phí tài nguyên tính toán do phần cứng bị lỗi.
Được dịch tự động từ bản gốc tiếng Anh.
Amazon Web Services đã công bố một hướng dẫn kỹ thuật về việc phát hiện hỏng hóc dữ liệu âm thầm (SDC) trong quá trình huấn luyện các mô hình ngôn ngữ lớn trên SageMaker HyperPod. Phương pháp này tích hợp ba bước xác thực cụ thể vào các vòng lặp PyTorch DistributedDataParallel để xác định các lỗi phần cứng mà các công cụ giám sát tiêu chuẩn thường bỏ sót. Cách tiếp cận này cho phép các kỹ sư cô lập các nút bị hỏng và khôi phục các tác vụ huấn luyện trước khi tài nguyên tính toán đáng kể bị lãng phí.
Chuyện gì đã xảy ra
Hỏng hóc dữ liệu âm thầm xảy ra khi các thành phần phần cứng, chẳng hạn như GPU, trả về kết quả số không chính xác nhưng vẫn có vẻ hợp lý mà không kích hoạt bất kỳ cờ báo lỗi nào. Trong môi trường huấn luyện phân tán, các giá trị sai lệch này lan truyền qua gradient và trọng số trên tất cả các bản sao của mô hình. Vì các chỉ số loss (mất mát) có thể trông bình thường trong nhiều giờ, các đội ngũ thường chỉ phát hiện ra vấn đề sau khi nhận thấy sự phân kỳ khó giải thích của mô hình hoặc hiệu suất kém, lúc đó chi phí tính toán đáng kể đã được tiêu tốn.
Quy mô của vấn đề này là rất lớn. Trong giai đoạn tiền huấn luyện kéo dài 54 ngày cho mô hình Llama 3 405B trên tối đa 16.000 GPU H100, Meta đã quy trách nhiệm cho SDC đối với 6 trong số 419 lần gián đoạn tác vụ không mong muốn. Đây chỉ là những trường hợp gây ra lỗi tác vụ ngay lập tức và được truy vết thành công về nguồn gốc SDC. Các tính năng tiêu chuẩn của SageMaker HyperPod, như thay thế nút tự động và kiểm tra sức khỏe sâu, không thể bắt được SDC vì phần cứng không báo cáo bất kỳ lỗi nào.
Để giải quyết điều này, các kỹ sư AWS đã phát triển một giải pháp thêm logic phát hiện trực tiếp vào tác vụ huấn luyện. Khi một bước kiểm tra xác định khả năng hỏng hóc, hệ thống sẽ ánh xạ rank của tiến trình nghi ngờ sang nút vật lý tương ứng, cô lập vấn đề và kích hoạt SageMaker HyperPod để thay thế phần cứng bị lỗi. Điều này chuyển trách nhiệm phát hiện từ giám sát cơ sở hạ tầng sang chính ứng dụng huấn luyện.
Cách thức hoạt động
Giải pháp dựa vào ba bước kiểm tra riêng biệt trong vòng lặp huấn luyện, mỗi bước nhắm vào các giai đoạn khác nhau nơi hỏng hóc có thể xảy ra. Đầu tiên, một bước kiểm tra gradient không hữu hạn (non-finite gradient check) giám sát các giá trị NaN hoặc Infinity trong gradient cục bộ trước và sau thao tác all-reduce. Bước này bắt các lỗi gây ra tràn số trong quá trình forward hoặc backward pass. Thứ hai, một cuộc kiểm toán ring replay tính toán lại các micro-batch từ các nút khác trong các bước kiểm toán, so sánh các giá trị loss bit-by-bit và dấu vân tay gradient để phát hiện các giá trị hữu hạn nhưng sai trong đường dẫn tính toán. Thứ ba, một bước so sánh dấu vân tay trọng số xác minh rằng tất cả các bản sao đều có trọng số giống hệt nhau sau bước optimizer, nhằm bắt các hỏng hóc trong trọng số lưu trữ hoặc quá trình cập nhật.
Các bước kiểm tra này sử dụng kỹ thuật lấy dấu vân tay hiệu quả thay vì truyền toàn bộ tensor. Mỗi tensor được giảm xuống thành hai tổng 64-bit: một tổng đơn giản của các mẫu bit thô và một tổng có trọng số theo vị trí. Phương pháp này phát hiện các thay đổi đối với từng phần tử riêng lẻ trong khi giảm thiểu chi phí giao tiếp. Tổng có trọng số theo vị trí rất quan trọng để bắt các giá trị bị hoán đổi mà có thể khiến tổng đơn giản không thay đổi. Nếu bất kỳ bước kiểm tra nào thất bại, hệ thống sẽ xác định chính xác rank GPU chịu trách nhiệm.
Sau khi xác định được rank nghi ngờ, hệ thống tận dụng tích hợp Amazon Elastic Kubernetes Service (EKS) để ánh xạ rank đó sang một ID instance cụ thể. Tác vụ được dừng lại, nút bị cordoned (cách ly), và các chỉ số GPU được xem xét thông qua bảng điều khiển quan sát của SageMaker HyperPod. Nếu được xác nhận, nút sẽ được thay thế và quá trình huấn luyện tiếp tục từ checkpoint được lưu trước cửa sổ thời gian nghi ngờ xảy ra hỏng hóc.
Chi tiết chính
- Hỏng hóc dữ liệu âm thầm bắt nguồn từ các khuyết tật sản xuất hoặc lão hóa silicon trong các đơn vị tính toán, đặc biệt là các lane nhân-tích-lũy (multiply-accumulate lanes) trong tensor cores, vốn thiếu bảo vệ ECC.
- Các bước kiểm tra tính toàn vẹn tiêu chuẩn như ECC, lỗi Xid và kiểm tra sức khỏe DCGM bỏ sót SDC vì chúng bảo vệ bộ nhớ, lỗi driver hoặc lớp truyền tải, chứ không phải kết quả tính toán itself.
- Giải pháp yêu cầu ít nhất ba nút GPU để bật chế độ bỏ phiếu đa số (majority voting) cho việc so sánh trọng số và kiểm toán ring replay.
- Việc so sánh norm gradient cục bộ không hiệu quả trong việc phát hiện SDC hữu hạn, vì sự biến thiên lành mạnh giữa các bản sao có thể vượt xa tín hiệu lỗi theo cấp số nhân.
- Triển khai này được thiết kế cho PyTorch DistributedDataParallel và dựa vào các kernel xác định (deterministic kernels) để lấy dấu vân tay gradient chính xác.
- Mã nguồn đầy đủ cho giải pháp có sẵn trong một kho lưu trữ GitHub đi kèm do AWS cung cấp.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng các mô hình AI quy mô lớn, hỏng hóc dữ liệu âm thầm đại diện cho một chi phí ẩn có thể làm chệch hướng hàng tháng trời huấn luyện. Giám sát cơ sở hạ tầng truyền thống mù tịt trước các lỗi này vì phần cứng trông có vẻ khỏe mạnh trong khi tạo ra các phép toán sai. Bằng cách đưa việc phát hiện vào vòng lặp huấn luyện, các đội ngũ có thể ngăn chặn sự lan truyền của các trọng số xấu và tránh lãng phí hàng nghìn giờ GPU vào các tác vụ bị tổn hại. Điều này đặc biệt quan trọng khi kích thước mô hình tăng lên và các đợt huấn luyện kéo dài hàng tuần hoặc hàng tháng.
Cách tiếp cận này cũng làm nổi bật những hạn chế của việc chỉ dựa vào chẩn đoán ở cấp độ phần cứng. Khi silicon già đi dưới áp lực nhiệt và điện nặng nề, các khuyết tật biên (marginal defects) có thể xuất hiện và chỉ biểu hiện dưới các mẫu khối lượng công việc cụ thể. Xác minh ở cấp độ ứng dụng cung cấp một lưới an toàn cần thiết, đảm bảo tính toàn vẹn toán học của quá trình huấn luyện được duy trì bất kể các đặc điểm kỳ quặc của phần cứng bên dưới. Phương pháp này cho phép các chiến lược chịu lỗi mạnh mẽ hơn cho các hệ thống ML trong môi trường production.
Những gì bạn có thể làm
- Triển khai các bước kiểm tra gradient không hữu hạn trong các hook PyTorch DDP của bạn để bắt các giá trị NaN hoặc Inf trước khi chúng lan truyền qua all-reduce.
- Thêm các cuộc kiểm toán ring replay định kỳ vào vòng lặp huấn luyện của bạn, tính toán lại các micro-batch từ các nút peer để xác minh dấu vân tay gradient.
- So sánh dấu vân tay trọng số giữa tất cả các bản sao sau các bước optimizer để phát hiện hỏng hóc trong các tham số lưu trữ.
- Đảm bảo cụm SageMaker HyperPod của bạn được điều phối bởi EKS và đã bật add-on quan sát để ánh xạ nút và tương quan chỉ số.
- Sử dụng các sampler có seed (seeded samplers) trong pipeline dữ liệu của bạn để cho phép tái tạo xác định các micro-batch cho mục đích kiểm toán.
- Lưu trữ các checkpoint trên bộ nhớ chia sẻ như Amazon FSx for Lustre hoặc S3 để tạo điều kiện thuận lợi cho việc khôi phục nhanh chóng sau khi thay thế nút.



