Kiểm tra xem mô hình Hugging Face của bạn có chạy trên AWS Trainium hay không

Hugging Face đã ra mắt một công cụ tương tác mới nhằm giúp các nhà phát triển xác định xem các mô hình mã nguồn mở ưa thích của họ có tương thích với phần cứng AWS Trainium hay không. Được phát hành vào cuối tháng 10 năm 2026, tài nguyên này giải quyết nhu cầu ngày càng tăng về sự rõ ràng xung quanh việc tăng tốc phần cứng cho các mô hình ngôn ngữ lớn trên silicon tùy chỉnh của Amazon.

Công cụ cung cấp cái nhìn trực quan ngay lập tức về những mô hình nào từ Hugging Face Hub có thể thực thi mà không cần sửa đổi mã trên các instance Trainium. Nó đóng vai trò như một cầu nối thực tế giữa lời hứa trừu tượng về tăng tốc phần cứng và thực tế cụ thể của kỹ thuật triển khai.

Chuyện gì đã xảy ra

Hugging Face đã giới thiệu một Space chuyên dụng có tên torch-neuronx model support để lập danh mục khả năng tương thích giữa các mô hình Transformer phổ biến và AWS Trainium. Sáng kiến này dựa trên phiên bản trước đó của TorchNeuron, một backend PyTorch gốc cho phép thư viện Transformers chạy mã mô hình chuẩn trực tiếp trên các thiết bị Trainium thông qua gói torch-neuronx.

Space này tổng hợp kết quả kiểm thử cho các mô hình được tải xuống nhiều nhất và đang thịnh hành trên Hub. Nó không chỉ đơn thuần liệt kê hỗ trợ lý thuyết mà còn cung cấp bằng chứng thực nghiệm về quá trình thực thi. Đối với mỗi mô hình được kiểm thử, giao diện hiển thị trạng thái xác thực (đạt hay không), số lượng lõi Trainium cần thiết cho việc phân mảnh (sharding), tổng thời gian thực hiện bao gồm cả biên dịch, và mức sử dụng bộ nhớ thiết bị đỉnh điểm.

Người dùng có thể điều hướng dữ liệu thông qua ba chế độ xem chính. Chế độ Selected (Được chọn) trưng bày một danh sách được tuyển chọn các mô hình hàng đầu dựa trên số lượt tải và điểm xu hướng. Các chế độ Trending (Thịnh hành) và Downloads (Tải xuống) cho phép người dùng tìm kiếm các mô hình cụ thể theo tên, tuân theo hệ thống xếp hạng riêng của Hub. Nếu một mô hình chưa được kiểm thử, giao diện sẽ giải thích lý do, chẳng hạn như ưu tiên thấp hoặc không tương thích thực sự. Công cụ cũng cho phép người dùng lọc kết quả theo các phiên bản cụ thể của trình biên dịch Neuron (neuronx-cc) và thư viện Transformers.

Cách thức hoạt động

Cơ chế nền tảng dựa vào các pipeline kiểm thử tự động tải mô hình lên các instance trn2. Hệ thống phân mảnh mô hình trên số lượng lõi Trainium tối thiểu cần thiết để chứa trọng số, thường sử dụng song song hóa tensor (tensor parallelism). Đối với các kiến trúc hỗn hợp chuyên gia (mixture-of-experts) thiếu kế hoạch song song hóa tensor, hệ thống sẽ áp dụng song song hóa chuyên gia (expert parallelism) thay thế. Hiện tại, các bài kiểm thử bị giới hạn ở những mô hình vừa vặn trong bốn thiết bị Trainium2, tổng cộng không quá 16 lõi.

Quá trình xác thực liên quan đến việc tạo ra 32 token từ mô hình. Trên các cấu hình một lõi, các token đầu ra được so sánh trực tiếp với một lần chạy tham chiếu trên CPU. Đối với các mô hình đã phân mảnh, một mô hình đánh giá nhỏ hơn sẽ kiểm tra đầu ra để đảm bảo nó là tiếng Anh trôi chảy. Trạng thái "PASS" xác nhận tính đúng đắn về mặt chức năng nhưng không đảm bảo các chỉ số thông lượng cụ thể hoặc hiệu suất trên các chuỗi sinh văn bản dài hơn.

Đối với các nhà phát triển sẵn sàng triển khai, Space cung cấp stack phần mềm chính xác được sử dụng trong quá trình kiểm thử. Nó liệt kê các gói bắt buộc và cung cấp một script run.py phản chiếu công thức TorchNeuron chính thức. Script này tải mô hình bằng from_pretrained, áp dụng phân mảnh khi cần thiết và tạo văn bản sử dụng cache tĩnh với torch.compile(backend="neuron"). Script xử lý các rank phân tán nội bộ, loại bỏ nhu cầu sử dụng các launcher bên ngoài như torchrun.

Để giảm độ trễ khởi động, các nhà phát triển có thể bỏ qua bước biên dịch đồ thị ban đầu. Space cung cấp các lệnh để đồng bộ hóa các đồ thị đã được biên dịch trước từ một bucket cache NEFF công khai được lưu trữ trên Hugging Face. Bằng cách khớp phiên bản trình biên dịch, người dùng có thể tải trực tiếp các artifact đã được cache vào môi trường cục bộ của họ.

Chi tiết chính

• Công cụ hiện chỉ hỗ trợ các tác vụ text-generation (sinh văn bản) và image-text-to-text (từ ảnh sang văn bản), với kế hoạch mở rộng sang diffusers và sentence transformers.
• Các bài kiểm thử được tiến hành trên các instance AWS Trainium2 (trn2), với giới hạn tối đa là 16 lõi cho mỗi mô hình.
• Mỗi kết quả kiểm thử bao gồm các phiên bản cụ thể của neuronx-cc và thư viện Transformers được sử dụng, đảm bảo tính tái lập.
• Dữ liệu nền tảng có sẵn dưới dạng một dataset công khai tên là aws-neuron/torch-neuronx-model-support, được lưu trữ ở định dạng Parquet.
• Các đồ thị biên dịch có thể được truy xuất từ bucket công khai hf://buckets/aws-neuron/torch-neuronx-neff-cache/ để bỏ qua thời gian biên dịch ban đầu.
• Một bài kiểm thử đạt yêu cầu xác minh tính đúng đắn của đầu ra chức năng nhưng không đo lường tốc độ suy luận hay độ ổn định trong ngữ cảnh dài.

Tại sao điều này quan trọng

Đối với các đội ngũ kỹ thuật đang đánh giá chi phí hạ tầng đám mây, đặc thù phần cứng là một yếu tố rủi ro lớn. AWS Trainium mang lại lợi ích tiềm năng về chi phí cho việc huấn luyện và suy luận, nhưng chỉ khi stack phần mềm hoàn toàn phù hợp với phần cứng. Trước đây, việc xác định sự phù hợp này đòi hỏi phải thử và sai thủ công, thường liên quan đến việc gỡ lỗi phức tạp các lỗi biên dịch hoặc vấn đề tràn bộ nhớ. Công cụ này loại bỏ sự không chắc chắn đó bằng cách cung cấp một danh sách đã được xác minh các mô hình tương thích.

Sự sẵn có của các đồ thị đã được biên dịch trước và các script tái lập chính xác làm giảm đáng kể rào cản gia nhập. Các nhà phát triển không còn cần phải kỹ thuật ngược cấu hình tối ưu cho từng mô hình. Thay vào đó, họ có thể nhân bản chính xác môi trường đã được kiểm thử, giảm thời gian từ khâu lựa chọn đến triển khai. Sự tiêu chuẩn hóa này rất quan trọng đối với các đội ngũ nhắm mục tiêu vận hành hóa các mô hình mã nguồn mở ở quy mô lớn mà không cần duy trì các codebase fork tùy chỉnh mở rộng.

Những gì bạn có thể làm

• Truy cập Space torch-neuronx model support trên Hugging Face để kiểm tra xem mô hình mục tiêu của bạn có được liệt kê hay không.
• Sử dụng chức năng tìm kiếm trong chế độ xem Trending hoặc Downloads để tìm các mô hình cụ thể theo tên.
• Ghi chú các phiên bản cụ thể của neuronx-cc và Transformers liên quan đến bất kỳ mô hình đạt yêu cầu nào mà bạn định sử dụng.
• Sao chép script run.py và danh sách gói được cung cấp để thiết lập môi trường phát triển cục bộ của bạn.
• Đồng bộ hóa các đồ thị NEFF đã được biên dịch trước từ bucket Hugging Face công khai để tránh chậm trễ trong việc biên dịch ban đầu.
• Truy vấn trực tiếp dataset công khai aws-neuron/torch-neuronx-model-support nếu bạn cần phân tích các xu hướng tương thích bằng chương trình.