NVIDIA DGX Spark mở rộng lên tám nút cho các mô hình AI tiên phong chạy cục bộ

NVIDIA đã mở rộng chiến lược phần cứng AI dành cho máy tính để bàn bằng cách chính thức hỗ trợ các cụm gồm tám nút cho hệ thống DGX Spark. Được công bố tại GTC Berlin vào tháng 10 năm 2026, bản cập nhật này nâng dung lượng bộ nhớ hợp nhất lên 1 TB, cho phép các nhà phát triển chạy các mô hình quy mô lớn thuộc dòng tiên phong (frontier-class) ngay trên máy cục bộ. Bản phát hành bao gồm các tối ưu hóa phần mềm mới cho giao tiếp tập thể (collective communication) và điều phối đa mô hình, nhằm đưa các mô hình hạ tầng quy mô lớn đến với từng máy trạm cá nhân.

Điều gì đã xảy ra

Tiến bộ cốt lõi là khả năng liên kết tám đơn vị DGX Spark thành một cụm thống nhất duy nhất. Mỗi đơn vị cung cấp 128 GB bộ nhớ hợp nhất, do đó cấu hình tám nút mang lại tổng cộng 1 TB bộ nhớ có thể định địa chỉ. Dung lượng này cho phép thực thi cục bộ các mô hình mà trước đây đòi hỏi phải dùng trung tâm dữ liệu đám mây, chẳng hạn như mô hình GLM 5.3 đầy đủ (753 tỷ tham số) của Z.ai. NVIDIA tuyên bố rằng cấu hình này có thể phục vụ biến thể GLM 5.3 Flash với tốc độ khoảng 80 token mỗi giây, giúp việc phát triển tương tác với các kiến trúc tiên phong trở nên khả thi ngay trong nội bộ doanh nghiệp (on-premises).

Để quản lý các cụm này, NVIDIA Sync sẽ tích hợp hỗ trợ Cluster Assistant cho việc quản lý thiết bị và thiết lập vào cuối năm nay. Phần cứng dựa trên các card giao diện mạng ConnectX-7 độ trễ thấp và RDMA over Converged Ethernet (RoCE) để xử lý việc trao đổi tensor giữa các nút. Nền tảng mạng này hỗ trợ cả topo kết nối qua switch để phân chia khối lượng công việc linh hoạt lẫn kết nối vòng trực tiếp (ring connections) cho các thiết lập tiết kiệm chi phí.

Cách thức hoạt động

Một đổi mới phần mềm quan trọng là RoCEnante, một backend giao tiếp tập thể được tối ưu hóa cho Spark, thiết kế để giảm độ trễ trong các thao tác giải mã song song theo tensor (tensor-parallel decode). Trong các thuật toán all-reduce dạng vòng tiêu chuẩn, dữ liệu đi tuần tự giữa các rank lân cận, điều này có thể gây ra độ trễ đối với các tin nhắn nhỏ. RoCEnante sử dụng cơ chế trao đổi all-to-all, nơi mỗi rank chia sẻ đầu vào trực tiếp với mọi rank khác, sau đó tiến hành giảm thiểu cục bộ (local reduction). Cách tiếp cận này tối thiểu hóa các bước giao tiếp khi số lượng rank vừa phải, mặc dù nó làm tăng tổng lượng di chuyển dữ liệu. Nó được tích hợp vào FlashInfer và sẽ quay về sử dụng Thư viện Giao tiếp Tập thể Chuẩn của NVIDIA (NCCL) nếu các bài kiểm tra khởi động thất bại.

Về quản lý khối lượng công việc, NVIDIA NeMo Switchyard cho phép điều phối đa mô hình trên các cụm chia sẻ. Một bộ phân loại nhẹ, chẳng hạn như MiniCPM5 2B của OpenBMB, kiểm tra các yêu cầu gửi đến và định tuyến chúng tới các nhóm mô hình phù hợp. Các tác vụ đơn giản được gửi tới những mô hình nhỏ hơn, nhanh hơn, trong khi các truy vấn phức tạp được hướng dẫn tới những mô hình lớn hơn như Qwen3.8 Flash Next. Việc định tuyến này diễn ra trên các cụm kết nối qua switch, cung cấp khả năng kết nối any-to-any cần thiết cho các nhóm mô hình độc lập. Hệ thống sử dụng tệp chính sách dựa trên YAML, cho phép các nhà phát triển tinh chỉnh tỷ lệ phân bổ lưu lượng dựa trên nhu cầu cụ thể của họ.

Chi tiết chính

• Tám nút DGX Spark cung cấp 1 TB bộ nhớ hợp nhất, cho phép thực thi cục bộ mô hình GLM 5.3 với 753 tỷ tham số.
• Backend RoCEnante mang lại mức tăng tốc giải mã gấp 4,43 lần ở cấu hình tám nút so với 3,05 lần khi không sử dụng nó, đặc biệt đối với các topo kết nối qua switch.
• Thông lượng giải mã cho Qwen3.8-27B tăng từ khoảng 12 token mỗi giây trên một nút lên 52 token mỗi giây trên tám nút.
• NeMo Switchyard có thể tăng thông lượng tổng hợp lên tới 3 lần bằng cách định tuyến phần lớn lưu lượng sang các mô hình nhỏ hơn trong khi vẫn duy trì chất lượng trên các benchmark sử dụng công cụ.
• Huấn luyện trước (pre-training) một mô hình nanochat trên tám nút đạt mức tăng tốc 7,79 lần với hiệu suất mở rộng (scaling efficiency) 97,4%, chứng minh hiệu năng gần như tuyến tính.
• Topo vòng vật lý (physical ring) cung cấp một lựa chọn chi phí thấp hơn cho suy luận bốn nút, trong khi switch là bắt buộc đối với các cụm tám nút hoặc phân bổ tách rời.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật, sự phát triển này thay đổi ranh giới của những gì có thể thực hiện được trên phần cứng cục bộ. Chạy một mô hình 753 tỷ tham số ngay trên máy cục bộ giúp loại bỏ chi phí truyền dữ liệu ra ngoài (data egress costs) và độ trễ liên quan đến API đám mây, đồng thời giải quyết các lo ngại về quyền riêng tư đối với những bộ dữ liệu nhạy cảm. Khả năng mở rộng bộ nhớ lên 1 TB có nghĩa là các đội ngũ có thể thử nghiệm với các kiến trúc hỗn hợp chuyên gia (mixture-of-experts) và cửa sổ ngữ cảnh lớn mà không cần phải cấp phát các instance từ xa. Điều này dân chủ hóa quyền truy cập vào các mô hình tiên phong, cho phép lặp lại và gỡ lỗi nhanh chóng trong một môi trường được kiểm soát.

Việc giới thiệu các backend giao tiếp tập thể được tối ưu hóa và các công cụ điều phối đa mô hình cũng nhấn mạnh một hệ sinh thái đang trưởng thành cho điện toán phân tán cục bộ. Các nhà phát triển không còn cần phải tự quản lý thủ công các stack mạng phức tạp hay viết logic định tuyến tùy chỉnh để cân bằng giữa chi phí và hiệu năng. Các công cụ như Switchyard và RoCEnante trừu tượng hóa những phức tạp này, giúp các đội ngũ tập trung vào hành vi của mô hình và logic ứng dụng thay vì tinh chỉnh hạ tầng. Điều này làm giảm gánh nặng vận hành khi duy trì các cụm AI hiệu năng cao trong nội bộ doanh nghiệp.

Bạn có thể làm gì

• Xem xét hướng dẫn tương thích mô hình để xác định những mô hình tiên phong nào phù hợp với giới hạn bộ nhớ 1 TB của cụm tám nút.
• Thiết lập một cụm DGX Spark hai nút bằng cách sử dụng hướng dẫn mạng được cung cấp để thử nghiệm các khối lượng công việc phân tán trước khi mở rộng quy mô.
• Triển khai NeMo Switchyard với một tệp chính sách YAML mẫu để định tuyến các yêu cầu giữa các kích thước mô hình khác nhau dựa trên độ phức tạp.
• Đánh giá hiệu năng (benchmark) các khối lượng công việc suy luận hiện tại của bạn bằng vLLM trên nhiều nút Spark để đo lường mức tăng thông lượng nhờ song song hóa tensor.
• Khám phá mã nguồn huấn luyện trước của nanochat trên GitHub để hiểu cách áp dụng mở rộng quy mô gần như tuyến tính vào việc huấn luyện các mô hình nhỏ từ đầu.
• Đánh giá xem topo vòng không cần switch có đáp ứng nhu cầu của bạn cho các triển khai bốn nút hay không nhằm giảm chi phí phần cứng.