Triển khai GLM-5.3 trên hai trạm DGX với vLLM và RDMA
Một hướng dẫn kỹ thuật chi tiết cách triển khai mô hình GLM-5.3 với 753 tỷ tham số trên hai trạm NVIDIA DGX bằng cách sử dụng song song tensor, RDMA và vLLM.
Được dịch tự động từ bản gốc tiếng Anh.
NVIDIA đã công bố một hướng dẫn kỹ thuật chi tiết về việc triển khai mô hình hỗn hợp chuyên gia (mixture-of-experts) NVFP4 GLM-5.3 khổng lồ trên hai đơn vị phần cứng riêng biệt. Hướng dẫn này minh họa cách kết nối hai trạm NVIDIA DGX thông qua các kết nối RDMA tốc độ cao để tạo ra một điểm cuối suy luận (inference endpoint) thống nhất. Cách tiếp cận này cho phép các kỹ sư chạy các mô hình vượt quá dung lượng bộ nhớ của một GPU đơn lẻ trong khi vẫn duy trì hiệu suất độ trễ thấp.
Điều gì đã xảy ra
Mô hình GLM-5.3 NVFP4 đặt ra một thách thức hạ tầng đáng kể do kích thước của nó. Với tổng cộng 753 tỷ tham số và 40 tỷ tham số được kích hoạt cho mỗi token, mô hình này yêu cầu khoảng 464 GB bộ nhớ GPU để lưu trữ trọng số. Nhu cầu này vượt xa mức 252 GB bộ nhớ HBM3e có sẵn trên một GPU NVIDIA GB300 đơn lẻ. Để giải quyết vấn đề này, hướng dẫn trình bày phương pháp chia nhỏ mô hình trên hai trạm DGX, mỗi trạm được trang bị một GPU GB300, qua đó nhân đôi pool bộ nhớ khả dụng cho việc lưu trữ trọng số.
Giải pháp dựa trên cơ chế song song tensor (tensor parallelism), trong đó các tensor của mô hình được chia đều giữa hai GPU. Một trạm đóng vai trò là nút chính (primary node) lưu trữ API, trong khi trạm thứ hai hoạt động như một nút làm việc (worker node). Chúng giao tiếp qua đường ray mạng RDMA ConnectX-8, đảm bảo rằng việc truyền dữ liệu giữa các nút không trở thành điểm nghẽn. Toàn bộ thiết lập được quản lý thông qua vLLM, công cụ điều phối dịch vụ phân tán và cung cấp nó qua một điểm cuối tương thích OpenAI tiêu chuẩn.
Cấu hình này cho phép các tối ưu hóa suy luận nâng cao như dự đoán đa token (multi-token prediction) và lưu trữ KV-cache ở định dạng FP8. Bằng cách giữ tất cả trọng số trong bộ nhớ GPU và tắt tính năng offload sang CPU, hệ thống tối đa hóa thông lượng cho các yêu cầu đồng thời. Hướng dẫn cung cấp các bước thực hiện chi tiết cho việc xác thực phần cứng, tải xuống mô hình và triển khai dịch vụ, mang đến một bản thiết kế tái lập được cho việc chạy các mô hình quy mô tiên phong cục bộ.
Cơ chế hoạt động
Song song tensor là cơ chế cốt lõi cho phép triển khai liên nút này. Thay vì sao chép toàn bộ mô hình trên mỗi GPU, hệ thống chia nhỏ các tensor nội bộ của mô hình trên hai thiết bị. Khi một yêu cầu đến, cả hai GPU cùng lúc tính toán các phần tương ứng của phép toán. Chúng trao đổi các kết quả một phần qua kết nối RDMA băng thông cao để hoàn tất phép tính cho từng token. Điều này đảm bảo rằng không GPU nào cần phải chứa toàn bộ checkpoint 464 GB, vì mỗi GPU chỉ lưu trữ khoảng một nửa trọng số.
vLLM quản lý môi trường thực thi phân tán bằng cách khởi động các container giống hệt nhau trên cả hai trạm. Nó sử dụng các biến môi trường cụ thể để xác định vai trò của mỗi nút, chẳng hạn như rank (thứ hạng) và địa chỉ master (máy chủ chính). Hệ thống tận dụng Dự đoán Đa Token (MTP), một kỹ thuật giải mã suy đoán (speculative decoding) trong đó mô hình phác thảo nhiều token trong một bước duy nhất. Sau đó, vLLM xác minh các bản phác thảo này so với mô hình đầy đủ, chấp nhận các chuỗi hợp lệ để tăng tốc độ sinh văn bản. Ngoài ra, việc lượng tử hóa FP8 cho KV-cache giảm mức sử dụng bộ nhớ đi một nửa so với lưu trữ 16-bit tiêu chuẩn, cho phép giữ lại nhiều ngữ cảnh hơn trong các cuộc hội thoại dài.
Chi tiết quan trọng
- Mô hình GLM-5.3 NVFP4 có 753 tỷ tham số, với 40 tỷ tham số được kích hoạt cho mỗi token, yêu cầu khoảng 464 GB bộ nhớ GPU.
- Hai trạm NVIDIA DGX với GPU GB300 được kết nối qua RDMA ConnectX-8 để chia sẻ tải tính toán.
- Song song tensor với hệ số 2 (TP=2) chia nhỏ trọng số mô hình và phép tính trên hai GPU.
- vLLM xử lý việc phục vụ phân tán, cho phép các tính năng như dự đoán đa token, KV-cache FP8 và caching tiền tố (prefix caching).
- Các bài kiểm tra chuẩn (benchmark) trên tập dữ liệu SPEED-Bench Coding cho thấy thông lượng đỉnh đạt 607,8 token/giây tại mức đồng thời 16.
- Ở các mức đồng thời cao hơn là 32, thông lượng giảm xuống còn 385,0 token/giây với độ trễ trung bình là 453,5 giây.
Tại sao điều này quan trọng
Đối với các kỹ sư hạ tầng và nhà phát triển AI, hướng dẫn này giải quyết khoảng cách ngày càng lớn giữa kích thước mô hình và giới hạn bộ nhớ của GPU đơn lẻ. Khi các mô hình hỗn hợp chuyên gia trở nên phổ biến hơn, khả năng phân phối trọng số hiệu quả trên nhiều nút mà không hy sinh tốc độ là yếu tố then chốt. Việc sử dụng RDMA đảm bảo rằng giao tiếp liên nút vẫn đủ nhanh để hỗ trợ suy luận theo thời gian thực, tránh các hình phạt về độ trễ thường gặp trong điện toán phân tán dựa trên mạng.
Tác động thực tế mở rộng đến chi phí và hiệu quả tài nguyên. Bằng cách tối đa hóa mức sử dụng bộ nhớ GPU và áp dụng các kỹ thuật như caching FP8, các tổ chức có thể phục vụ các mô hình lớn hơn trên cấu hình phần cứng hiện có thay vì chờ đợi các giải pháp chip đơn thế hệ tiếp theo. Các bài kiểm tra chuẩn được cung cấp đưa ra kỳ vọng thực tế về hiệu suất dưới tải, giúp các nhóm lên kế hoạch dung lượng cho môi trường sản xuất nơi các yêu cầu người dùng đồng thời là điều bình thường.
Bạn có thể làm gì
- Xác thực thiết lập phần cứng của bạn bằng playbook "Connect Two DGX Stations" trước khi thử triển khai.
- Đảm bảo cả hai trạm có ít nhất 464 GB dung lượng ổ đĩa trống để lưu trữ các bản sao cục bộ của checkpoint mô hình.
- Cấu hình quyền truy cập SSH không mật khẩu giữa hai trạm để tạo điều kiện cho việc truyền tệp tự động và các lệnh từ xa.
- Sử dụng mẫu tệp môi trường được cung cấp để đặt đúng rank, địa chỉ IP và định danh thiết bị RDMA cho mỗi nút.
- Khởi động dịch vụ vLLM trên nút làm việc trước, sau đó đến nút chính, để đảm bảo khởi tạo cụm đúng cách.
- Chạy các bài kiểm tra chuẩn AIPerf với các prompt tùy chỉnh để xác định mức đồng thời tối ưu cho yêu cầu khối lượng công việc cụ thể của bạn.



