Chạy các mô hình LLM nghìn tỷ tham số trên cụm Mac Studio với MLX

Nhóm Nghiên cứu Học máy của Apple (Apple Machine Learning Research) đã công bố một bài phân tích kỹ thuật chuyên sâu, cho thấy cách chạy các mô hình ngôn ngữ lớn (LLM) thuộc nhóm tiên phong ngay trên thiết bị cục bộ dùng chip Apple Silicon. Báo cáo được phát hành vào ngày 15 tháng 10 năm 2026, chi tiết hóa cách thức mà khung làm việc mã nguồn mở MLX tận dụng bộ nhớ hợp nhất (unified memory) và các driver mạng mới để xử lý những mô hình có gần một nghìn tỷ tham số.

Nhóm nghiên cứu đã thành công trong việc chạy mô hình Muse Spark Open, chứa 816 tỷ tham số, trên một cụm gồm bốn máy tính Mac Studio. Bằng cách áp dụng các chiến lược song song hóa theo pipeline và tensor qua kết nối Thunderbolt, họ đạt được tốc độ sinh văn bản vượt quá tốc độ đọc của con người trong khi vẫn duy trì mức tiêu thụ điện năng thấp.

Chuyện gì đã xảy ra

Nghiên cứu tập trung vào khả năng của chip M5 Ultra mới ra mắt và phiên bản mới nhất của khung mảng dữ liệu MLX. Các công trình trước đây đã nhấn mạnh vào các Neural Accelerator GPU trong kiến trúc M5, nhưng bài viết này minh chứng hiệu suất suy luận thực tế cho các mô hình khổng lồ. Các tác giả đã đo điểm chuẩn (benchmark) ba mô hình cụ thể: Muse Spark Open (816B tham số), Mistral Medium 3.5 (128B tham số) và Qwen 3.8 (27B tham số).

Trên một chiếc Mac Studio đơn lẻ với 512GB bộ nhớ hợp nhất, các mô hình đặc (dense models) nhỏ hơn vừa vặn thoải mái. Tuy nhiên, Muse Spark Open đòi hỏi lượng bộ nhớ lớn hơn đáng kể. Ngay cả ở độ chính xác NVFP4 4-bit, dung lượng bộ nhớ cần thiết cho mô hình khoảng 493GB, khiến không còn nhiều chỗ cho các phép tính trung gian. Để giải quyết vấn đề này, các nhà nghiên cứu đã phân tán khối lượng công việc trên nhiều máy bằng cách sử dụng Remote Direct Memory Access (RDMA) qua Thunderbolt 5, một tính năng được giới thiệu trong macOS 26.2.

Các bài kiểm tra đo điểm chuẩn đánh giá thời gian đến token đầu tiên (TTFT), thông lượng sinh văn bản và mức tiêu thụ điện năng đỉnh. Đối với mô hình lớn nhất, nhóm đã sử dụng một cụm gồm bốn Mac Studio được kết nối qua cáp Thunderbolt. Thiết lập này cho phép họ chia nhỏ các lớp hoặc trọng số của mô hình giữa các thiết bị, giúp thực hiện suy luận mà nếu chỉ dựa vào phần cứng máy tính để bàn thì sẽ không thể nào làm được.

Cách hoạt động

MLX sử dụng hai chiến lược chính để phân phối các mô hình lớn trên nhiều máy tính: song song hóa theo pipeline và song song hóa theo tensor. Song song hóa theo pipeline chia mô hình theo chiều sâu, nghĩa là một máy xử lý nửa đầu các lớp mạng nơ-ron và gửi đầu ra sang máy thứ hai để xử lý các lớp còn lại. Cách tiếp cận này dễ triển khai và gây ra ít chi phí truyền thông vì chỉ các đầu ra trung gian được trao đổi giữa các nút.

Song song hóa theo tensor chia mô hình theo chiều rộng, phân phối các phần nhỏ của mỗi lớp trên tất cả các máy. Phương pháp này cho phép mức độ song song hóa tính toán cao hơn nhưng yêu cầu giao tiếp thường xuyên cho từng token và từng lớp. Để làm cho phương pháp này khả thi, MLX dựa vào jaccl, một bộ các thao tác thu thập truyền thông (communication collectives) được xây dựng trên nền tảng driver RDMA-over-Thunderbolt có độ trễ thấp. Điều này đảm bảo rằng các trao đổi dữ liệu nhỏ và thường xuyên do song song hóa theo tensor yêu cầu không trở thành nút thắt cổ chai.

Chip M5 Ultra đóng vai trò then chốt trong kiến trúc này. Các Neural Accelerator GPU của nó cung cấp phần cứng chuyên dụng cho phép nhân ma trận, giúp tăng tốc các tác vụ phụ thuộc vào tính toán như việc tính toán thời gian đến token đầu tiên. Ngoài ra, M5 Ultra cung cấp băng thông bộ nhớ hợp nhất lên tới 1.2 TB/s, một sự gia tăng đáng kể so với mức 819 GB/s có sẵn trên thế hệ M3 Ultra trước đó. Băng thông này trực tiếp cải thiện tốc độ sinh văn bản, vốn là tác vụ phụ thuộc vào bộ nhớ.

Chi tiết quan trọng

• Muse Spark Open là một mô hình hỗn hợp các chuyên gia (mixture of experts) với 816 tỷ tham số, được đánh giá ở độ chính xác NVFP4, với chỉ 42 tỷ tham số hoạt động trong quá trình suy luận.
• Một cụm gồm bốn Mac Studio trang bị chip M5 Ultra đã đạt hơn 36 token mỗi giây cho mô hình Muse Spark Open với kích thước ngữ cảnh 8.192 token.
• M5 Ultra mang lại thời gian đến token đầu tiên nhanh hơn tới 4,6 lần so với M3 Ultra đối với các khối lượng công việc phụ thuộc vào tính toán nhờ vào các Neural Accelerator GPU.
• Mức tiêu thụ điện năng đỉnh cho việc suy luận LLM trên một Mac Studio dùng chip M5 Ultra là khoảng 300 watt, thấp hơn đáng kể so với nhiều giải pháp thay thế cấp máy chủ.
• MLX v0.30.1 và các phiên bản sau hỗ trợ jaccl cho RDMA qua Thunderbolt, cho phép truyền thông độ trễ thấp giữa các đơn vị Mac Studio.
• Song song hóa theo pipeline có thể nhanh hơn tới 1,8 lần so với một nút đơn lẻ khi điền trước (prefilling) các ngữ cảnh rất lớn (65.536 token) bằng cách chồng chéo các khối tính toán giữa các máy.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà nghiên cứu AI, sự phát triển này hạ thấp rào cản thử nghiệm với các mô hình thuộc nhóm tiên phong. Việc chạy một mô hình 816 tỷ tham số cục bộ có nghĩa là dữ liệu không bao giờ rời khỏi môi trường riêng tư, giải quyết các lo ngại nghiêm trọng về quyền riêng tư và bảo mật liên quan đến API dựa trên đám mây. Nó cũng cho phép lặp lại nhanh chóng các phương pháp tinh chỉnh (fine-tuning) và suy luận mà không phải chờ đợi phân bổ tài nguyên đám mây hay đối mặt với chi phí xuất dữ liệu (egress costs).

Hiệu quả của Apple Silicon cũng thay đổi kinh tế học của cơ sở hạ tầng AI cục bộ. Với mức tiêu thụ điện năng đỉnh khoảng 300 watt, một Mac Studio có thể hoạt động trong các môi trường văn phòng hoặc gia đình tiêu chuẩn mà không cần hệ thống làm mát hoặc nguồn điện chuyên dụng. Điều này giúp các nhóm nhỏ hoặc cá nhân nhà phát triển có thể duy trì các cụm suy luận hiệu năng cao vừa mạnh mẽ vừa tiết kiệm năng lượng.

Hơn nữa, việc hỗ trợ các cửa sổ ngữ cảnh lớn là rất quan trọng cho các quy trình làm việc dạng agent (agentic workflows). Các trợ lý lập trình và các agent suy luận phức tạp thường yêu cầu kích thước ngữ cảnh từ 65.536 token trở lên. Khả năng xử lý nhanh các ngữ cảnh lớn này trên phần cứng cục bộ cho phép tạo ra các agent tự động tinh vi hơn, có thể hiểu toàn bộ mã nguồn hoặc các tài liệu dài trong thời gian thực.

Bạn có thể làm gì

• Cài đặt phiên bản MLX mới nhất (v0.30.1 trở lên) để truy cập hỗ trợ cho RDMA qua Thunderbolt và backend jaccl.
• Sử dụng công cụ mlx_lm.benchmark để đo thời gian đến token đầu tiên và thông lượng cho các mô hình và kích thước ngữ cảnh cụ thể của bạn.
• Kết nối nhiều đơn vị Mac Studio với hai cáp Thunderbolt cho mỗi cặp để nhân đôi băng thông liên kết cho suy luận phân tán.
• Thử nghiệm với song song hóa theo pipeline để có thiết lập đơn giản hơn và chi phí truyền thông thấp khi chia nhỏ mô hình trên hai máy.
• Sử dụng song song hóa theo tensor trên bốn máy để đạt mức song song hóa tính toán tối đa, đảm bảo cấu hình đúng lưới (mesh) Thunderbolt.
• Kích hoạt biến môi trường MLX_METAL_FAST_SYNCH=1 để giảm chi phí truyền thông giữa CPU và GPU trong các công việc phân tán.