Chạy mô hình MoE 180B trên RAM 32GB với Transformers
Một nhà phát triển đã tối ưu hóa Hugging Face Transformers để chạy Qwen3.8-Flash-Next trên MacBook M5, đạt tốc độ gần như native bằng cách stream các chuyên gia (experts) từ ổ đĩa.
Được dịch tự động từ bản gốc tiếng Anh.
Một kỹ sư phần mềm đã thành công trong việc chạy mô hình Qwen3.8-Flash-Next với 180 tỷ tham số trên một chiếc MacBook M5 chỉ có 32GB bộ nhớ hợp nhất (unified memory). Bằng cách sửa đổi thư viện Hugging Face Transformers để stream trực tiếp trọng số của Mixture of Experts (MoE) từ ổ đĩa, cấu hình này đạt được tốc độ suy luận tương đương với các engine chuyên dụng như Strata. Thí nghiệm này chứng minh rằng phần cứng tiêu dùng có thể xử lý các mô hình khổng lồ thông qua chiến lược offload và caching trọng số quyết liệt.
Chuyện gì đã xảy ra
Tác giả, Tarek Ziadé, muốn giảm sự phụ thuộc vào API đám mây bằng cách chạy các mô hình ngôn ngữ lớn cục bộ. Máy trạm chính của anh, một PC trang bị hai card RTX 4090 tên là Orthrus, thường xuyên bị chiếm dụng bởi các hoạt động chơi game của gia đình, khiến anh phải tìm hiểu về suy luận cục bộ trên laptop làm việc của mình, một chiếc MacBook M5 với 32GB RAM. Những nỗ lực ban đầu sử dụng các công cụ tiêu chuẩn như llama.app và vLLM cho thấy những hạn chế đáng kể khi xử lý các mô hình MoE vượt quá dung lượng bộ nhớ khả dụng. Mặc dù một số engine có thể offload trọng số sang CPU RAM, chúng gặp phải hình phạt về hiệu năng do nghẽn băng thông PCIe hoặc thiếu cơ chế caching hiệu quả cho việc kích hoạt sparse experts.
Ziadé tập trung vào việc tối ưu hóa thư viện Hugging Face Transformers, vốn truyền thống tải toàn bộ module vào bộ nhớ trước khi thực thi. Việc offload tiêu chuẩn trong Transformers sao chép tất cả các expert trong một layer lên GPU cho mỗi token, bất kể router chọn những expert nào. Cách tiếp cận này kém hiệu quả đối với các mô hình MoE, nơi chỉ một phần nhỏ các expert được kích hoạt cho mỗi token. Để giải quyết vấn đề này, anh đã phát triển một cơ chế streaming mới, chỉ tải các expert cần thiết từ ổ đĩa vào một cache giới hạn trên thiết bị. Kết quả triển khai, được chi tiết hóa trong pull request #50717, cho phép Transformers xử lý các mô hình lớn hơn nhiều so với bộ nhớ vật lý bằng cách coi lưu trữ ổ đĩa như một phần mở rộng của VRAM.
Cơ chế hoạt động
Đổi mới cốt lõi liên quan đến việc thay thế quy trình tải module tiêu chuẩn bằng một hệ thống caching dựa trên slot. Thay vì sao chép toàn bộ ngân hàng expert lên GPU, hệ thống duy trì một pool tensor được cấp phát trước trên thiết bị. Một bảng tra cứu ánh xạ các ID expert cụ thể tới các slot trong pool này. Khi router của mô hình chọn các expert hoạt động cho một token, hệ thống kiểm tra xem chúng đã có trong cache hay chưa. Nếu không, nó đọc trọng số expert đã được lượng tử hóa từ ổ đĩa thông qua nhiều luồng I/O. Điều này cho phép kernel grouped_mm hiện tại hoạt động trên các slot đã cached mà không cần sửa đổi, tránh nhu cầu triển khai nhân ma trận tùy chỉnh.
Để giảm thêm chi phí chuyển dữ liệu, các expert được lượng tử hóa xuống 3 bit ngoại tuyến, thu nhỏ tập hợp FP8 expert 121GB xuống còn 49GB trên ổ đĩa. Các layer dense được lượng tử hóa xuống 8 bit, chiếm khoảng 5.4GB. Một đường dẫn ổ đĩa riêng biệt xử lý bảng embedding n-gram 51GB, chỉ đọc các dòng khi cần thiết. Hệ thống cũng áp dụng kỹ thuật prefetching, nơi router dự đoán các expert cho các layer tiếp theo trong khi layer hiện tại đang tính toán, giúp che giấu một phần độ trễ của ổ đĩa. Các kernel Metal được biên dịch lúc runtime xử lý các thao tác thiếu đường dẫn nhanh trên macOS, chẳng hạn như Gated DeltaNet và hyper-connections.
Chi tiết chính
- Thí nghiệm sử dụng Qwen3.8-Flash-Next, một mô hình MoE 180B tham số với 48 layer và 512 expert mỗi layer.
- Suy luận chạy trên MacBook M5 với 32GB bộ nhớ hợp nhất, sử dụng khoảng 25.4GB tại đỉnh điểm trong một prompt 6K.
- Các expert được lượng tử hóa xuống 3 bit, giảm dung lượng ổ đĩa từ 121GB xuống 49GB, trong khi các layer dense sử dụng lượng tử hóa 8 bit.
- Triển khai Transformers đã được tối ưu hóa đạt 13.9 token/giây trong các tác vụ decode ngắn, so với 14.8 tok/s của Strata.
- Tốc độ prefill đạt 228 token/giây cho một prompt 4K, nhỉnh hơn một chút so với 220 tok/s của Strata.
- Giải pháp không yêu cầu extension C++, dựa vào Python, shader Metal biên dịch lúc runtime và các kernel dựng sẵn từ Hub.
Tại sao điều này quan trọng
Đối với các nhà phát triển xây dựng ứng dụng AI, công việc này làm nổi bật tiềm năng chạy các mô hình tiên tiến nhất trên phần cứng thương mại mà không cần cụm GPU đắt tiền. Nó thách thức giả định rằng các mô hình MoE lớn đòi hỏi engine suy luận chuyên dụng hoặc lượng VRAM khổng lồ. Bằng cách tận dụng streaming từ ổ đĩa và caching hiệu quả, các kỹ sư có thể triển khai các mô hình lớn hơn cục bộ cho mục đích thử nghiệm, gỡ lỗi hoặc các tác vụ nhạy cảm về quyền riêng tư. Cách tiếp cận này cũng cung cấp một bản thiết kế để tối ưu hóa các workload bị giới hạn bởi bộ nhớ trong các lĩnh vực khác, nơi tính thưa thớt của dữ liệu có thể được khai thác.
Tuy nhiên, kết quả cũng nhấn mạnh những hạn chế của các framework đa mục đích như PyTorch trên phần cứng không phải NVIDIA. Khoảng cách hiệu năng còn lại giữa Transformers và Strata chủ yếu bắt nguồn từ các vấn đề đồng bộ hóa host-GPU và khả năng không thể chồng lấp hoàn toàn tính toán với I/O ở cấp độ kernel. Điều này gợi ý rằng mặc dù tối ưu hóa phần mềm có thể thu hẹp phần lớn khoảng cách, nhưng tích hợp sâu hơn với các tính năng đặc thù của phần cứng là cần thiết để đạt hiệu suất tối đa. Các nhà phát triển nên cân nhắc giữa tính linh hoạt của Transformers và hiệu năng thô của các engine chuyên dụng khi lựa chọn stack suy luận của họ.
Bạn có thể làm gì
- Cài đặt nhánh thử nghiệm của Transformers từ pull request #50717 để thử nghiệm streaming expert trên phần cứng của riêng bạn.
- Chuyển đổi các expert của mô hình MoE sang lượng tử hóa bit thấp hơn (ví dụ: 3-bit) để giảm yêu cầu I/O ổ đĩa và dung lượng cache.
- Sử dụng SSD NVMe tốc độ cao để tối thiểu hóa độ trễ khi stream trọng số từ ổ đĩa sang bộ nhớ thiết bị.
- Giám sát chặt chẽ mức sử dụng bộ nhớ, vì hệ thống hoạt động gần giới hạn của RAM khả dụng, đòi hỏi phải đóng các ứng dụng nền.
- Thử nghiệm với các chiến lược prefetching để che giấu độ trễ đọc ổ đĩa trong quá trình tính toán đa layer.
- Xem xét Space
moe-expert-streamingđể lấy ví dụ mã và chi tiết benchmark nhằm thích ứng phương pháp này với các kiến trúc MoE khác.



