Kiến trúc NVIDIA Rubin tối đa hóa thông lượng suy luận AI thông qua đồng thiết kế

NVIDIA đã vạch ra một chiến lược toàn diện để tối đa hóa hiệu quả của các khối lượng công việc suy luận AI thông qua việc đồng thiết kế chặt chẽ giữa phần cứng và phần mềm. Được công bố vào ngày 5 tháng 11 năm 2026, bài phân tích kỹ thuật chuyên sâu giải thích cách hệ thống Vera Rubin NVL72 sắp tới đạt được thông lượng trên mỗi megawatt gấp tới 30 lần so với thế hệ GB300 trước đó. Bước nhảy vọt về hiệu suất này không đến từ việc tăng dung lượng bộ nhớ, vốn vẫn giữ nguyên ở mức 288 GB mỗi GPU, mà nhờ cải thiện đáng kể cách thức sử dụng từng byte bộ nhớ băng thông cao (HBM).

Điều gì đã xảy ra

Thách thức cốt lõi được giải quyết trong bản cập nhật này là nút thắt cổ chai HBM trong các nhà máy AI hiện đại. Khi các mô hình trở nên lớn hơn và cửa sổ ngữ cảnh mở rộng, HBM trở thành tài nguyên đắt đỏ và cạnh tranh nhất. NVIDIA lập luận rằng chỉ đơn thuần thêm bộ nhớ là không đủ; thay vào đó, trọng tâm phải chuyển sang đảm bảo rằng mỗi byte đều đóng góp trực tiếp vào quá trình tạo token thay vì nằm im hoặc lưu trữ dữ liệu dư thừa. Công ty chứng minh rằng thông lượng tác nhân (agentic throughput) trên mỗi megawatt đã tăng nhanh hơn nhiều so với dung lượng thô, cho thấy sự thay đổi cơ bản trong các ưu tiên kiến trúc.

Để giải quyết vấn đề này, NVIDIA đã giới thiệu năm đòn bẩy đồng thiết kế cụ thể trải dài từ kiến trúc GPU, kết nối liên thông (interconnects), phần mềm phục vụ, CPU và lưu trữ. Những đổi mới này phối hợp cùng nhau để giảm dấu chân bộ nhớ của mô hình, tối ưu hóa phân phối trọng số, quản lý cache khóa-giá trị (KV) như một tài nguyên chung cho cả cụm, tận dụng bộ nhớ CPU cho các ngữ cảnh không hoạt động và mở rộng các tầng lưu trữ trên toàn bộ pod. Kết quả là một hệ thống có khả năng xử lý các quy trình làm việc phức tạp, ngữ cảnh dài của tác nhân với độ đồng thời cao hơn và độ trễ thấp hơn.

Cách thức hoạt động

Đòn bẩy đầu tiên là NVFP4, một định dạng độ chính xác mới giúp giảm khoảng 3,5 lần dấu chân bộ nhớ của trọng số mô hình so với FP16 và 1,8 lần so với FP8. Bằng cách sử dụng phần tử 4-bit với hai mức độ scaling, NVFP4 duy trì độ chính xác trong khi giải phóng đáng kể HBM cho cache KV và các batch lớn hơn. Định dạng này cũng áp dụng cho chính cache KV, cắt giảm dấu chân bộ nhớ của nó lên tới 50% so với FP8, cho phép giữ lại gấp đôi lượng ngữ cảnh trên thiết bị. Việc giảm thiểu này hạn chế các thao tác loại bỏ (evictions) và tiêu thụ băng thông trong quá trình giải mã.

Thứ hai, song song chuyên gia rộng (wide expert parallelism) trong TensorRT-LLM phân tán các trọng số mô hình hỗn hợp-chuyên gia (MoE) trên tám hoặc nhiều GPU hơn. Cách tiếp cận này để lại nhiều HBM hơn cho mỗi GPU để lưu cache và tăng cường cường độ tính toán bằng cách tái sử dụng trọng số trên nhiều token hơn. Thứ ba, NVIDIA Dynamo coi cache KV là một tài nguyên chia sẻ trên toàn bộ cụm. Nó sử dụng định tuyến nhận biết KV (KV-aware routing) để đặt các yêu cầu nơi đã tồn tại ngữ cảnh liên quan, phục vụ tách rời (disaggregated serving) để tách biệt các khối lượng công việc prefill và decode, và một KV Cache Runner để phân tầng các block giữa GPU, CPU và lưu trữ bằng thư viện NIXL.

Các đòn bẩy thứ tư và thứ năm liên quan đến việc mở rộng phân cấp bộ nhớ vượt ra ngoài phạm vi GPU. CPU NVIDIA Vera có 88 lõi Olympus và lên tới 1,5 TB bộ nhớ LPDDR5X được kết nối nhất quán với GPU thông qua NVLink-C2C ở tốc độ 1,8 TB/s. Điều này cho phép các cache KV không hoạt động được đưa vào bộ nhớ CPU trong các lần gọi công cụ, ngăn chặn việc chúng bị loại khỏi HBM. Cuối cùng, NVIDIA CMX bổ sung một tầng lưu trữ G3.5 cấp độ pod được xây dựng dựa trên BlueField-4 STX và mạng Spectrum-X. Tầng này cho phép chia sẻ và tái sử dụng cache KV giữa các node, đảm bảo rằng ngữ cảnh tồn tại lâu hơn các phiên đơn lẻ hoặc các sự cố GPU.

Chi tiết chính

• NVFP4 giảm dấu chân bộ nhớ của trọng số mô hình khoảng ~3,5 lần so với FP16 và ~1,8 lần so với FP8 trong khi vẫn duy trì độ chính xác.
• Vera Rubin NVL72 cung cấp thông lượng trên mỗi megawatt gấp tới 30 lần so với GB300 NVL72 mặc dù có cùng dung lượng HBM 288 GB mỗi GPU.
• Song song chuyên gia rộng phân tán các chuyên gia MoE trên 8+ GPU, tăng khả năng sẵn có của HBM cho cache KV và cải thiện việc tái sử dụng trọng số.
• NVIDIA Dynamo cho phép định tuyến nhận biết KV và phục vụ tách rời, coi cache KV là một tài nguyên toàn cụm thay vì một sản phẩm cục bộ của GPU.
• CPU Vera cung cấp 1,5 TB bộ nhớ LPDDR5X được kết nối ở tốc độ 1,8 TB/s, cho phép卸载 (offload) hiệu quả các cache KV không hoạt động trong các lần gọi công cụ.
• NVIDIA CMX giới thiệu một tầng lưu trữ G3.5 sử dụng BlueField-4 STX và Spectrum-X để chia sẻ cache KV giữa các node thông qua flash gắn Ethernet.

Tại sao điều này quan trọng

Đối với các lãnh đạo hạ tầng và kỹ sư ML, những phát triển này báo hiệu sự chuyển dịch từ việc mở rộng quy mô thô bạo sang quản lý tài nguyên thông minh. Khả năng xử lý các ngữ cảnh lớn hơn và độ đồng thời cao hơn mà không cần tăng tương ứng chi phí HBM là yếu tố then chốt để triển khai các ứng dụng AI tác nhân khả thi về mặt kinh tế. Bằng cách giảm dấu chân bộ nhớ của trọng số và cache, các tổ chức có thể chạy các mô hình phức tạp hơn trên các ràng buộc phần cứng hiện có hoặc đạt được thông lượng cao hơn đáng kể trong các triển khai mới.

Việc tích hợp các tầng CPU và lưu trữ vào pipeline suy luận cũng thay đổi cách các hệ thống được kiến trúc hóa. Các nhà phát triển không còn có thể xem GPU như một đơn vị tính toán cô lập; thay vào đó, họ phải thiết kế các hệ thống tận dụng truy cập bộ nhớ nhất quán giữa các CPU và mạng lưu trữ chia sẻ nhanh chóng. Cách tiếp cận đồng thiết kế này giảm thiểu hình phạt do thời gian chờ đợi trong các lần gọi công cụ và đảm bảo rằng ngữ cảnh giá trị không bị mất do áp lực bộ nhớ, dẫn đến các tác nhân AI phản hồi nhanh hơn và hiệu quả hơn.

Bạn có thể làm gì

• Đánh giá độ chính xác NVFP4 cho các mô hình hiện tại của bạn để giảm dấu chân bộ nhớ và tăng kích thước batch mà không hy sinh độ chính xác.
• Triển khai song song chuyên gia rộng trong TensorRT-LLM nếu bạn đang chạy các mô hình MoE lớn để tối ưu hóa việc sử dụng HBM và cường độ tính toán.
• Khám phá NVIDIA Dynamo cho định tuyến nhận biết KV và phục vụ tách rời để cải thiện tỷ lệ trúng cache và giảm chi phí tính toán lại.
• Cân nhắc các kiến trúc tận dụng bộ nhớ CPU để đưa vào (staging) các cache KV không hoạt động, đặc biệt đối với các khối lượng công việc có nhiều lần gọi công cụ hoặc tạm dừng thường xuyên.
• Tìm hiểu các giải pháp lưu trữ cấp độ pod như NVIDIA CMX để cho phép chia sẻ cache KV giữa các node cho các phiên chạy dài hoặc đa tác nhân.
• Theo dõi chặt chẽ các chỉ số sử dụng HBM để xác định các cơ hội tối ưu hóa cache và nén trọng số trong các pipeline suy luận của bạn.