Chạy LLM trên thiết bị edge với NVIDIA TensorRT Edge-LLM

NVIDIA đã phát hành một hướng dẫn kỹ thuật chi tiết về cách chạy các mô hình ngôn ngữ lớn (LLM) trên phần cứng edge bằng hệ thống DGX Spark 64GB mới. Bài hướng dẫn, được công bố vào ngày 30 tháng 10 năm 2026, minh họa cách các nhà phát triển có thể tạo nguyên mẫu và phục vụ các tác nhân AI cục bộ với thiết lập tối thiểu. Tài liệu nhấn mạnh sự tích hợp giữa TensorRT Edge-LLM và các kỹ thuật giải mã suy đoán nhằm tối đa hóa hiệu suất trong điều kiện hạn chế nghiêm ngặt về bộ nhớ.

Chuyện gì đã xảy ra

Trọng tâm của bản cập nhật này là sự sẵn có của NVIDIA TensorRT Edge-LLM, một runtime suy luận C++ nhẹ được thiết kế riêng cho các khối lượng công việc nhúng. Công cụ này thu hẹp khoảng cách giữa quá trình phát triển trên DGX Spark và việc triển khai trên các nền tảng edge sản xuất như Jetson Thor, DRIVE AGX Thor và IGX Thor. Bằng cách cung cấp một framework thống nhất, NVIDIA hướng tới mục tiêu đơn giản hóa quy trình chuyển đổi các mô hình AI từ giai đoạn nguyên mẫu sang các thiết bị vật lý dùng để giám sát sự tập trung của tài xế, phối hợp hoạt động robot hoặc quản lý đội xe công nghiệp.

Bài hướng dẫn tập trung vào việc chạy NVIDIA Nemotron-3.5 Lightning, một mô hình chỉ xử lý văn bản, trên DGX Spark 64GB. Các nhà phát triển có thể sử dụng giao diện dòng lệnh trtedge để tải xuống mô hình và tự động xây dựng các engine TensorRT đã được tối ưu hóa. Quy trình này loại bỏ phần lớn cấu hình thủ công thường cần thiết cho suy luận trên edge. Hướng dẫn cũng cho thấy cách phục vụ mô hình thông qua API tương thích OpenAI cục bộ, cho phép các nhóm thử nghiệm ứng dụng mà không cần kết nối đám mây.

Một phần đáng kể của bản phát hành mô tả những cải thiện hiệu suất nhờ kỹ thuật giải mã suy đoán DSpark. Kỹ thuật này sử dụng một mô hình nháp để đề xuất nhiều token cùng lúc, sau đó mô hình chính sẽ xác thực chúng trong một lần duyệt duy nhất. Trên DGX Spark 64GB, việc bật DSpark với ba token nháp đã tăng tốc độ sinh trung bình từ 73,4 lên 126,9 token mỗi giây đối với các prompt HumanEval. Quan trọng hơn, mức sử dụng bộ nhớ đỉnh điểm vẫn ổn định ở mức 27,9GB, để lại dung lượng cho hệ điều hành và các tiến trình khác.

Cách thức hoạt động

TensorRT Edge-LLM hoạt động bằng cách chuyển đổi các định nghĩa mô hình cấp cao thành các engine suy luận được tối ưu hóa cao, phù hợp với phần cứng cụ thể. CLI trtedge đảm nhận phần việc nặng nề: nó tải xuống các trọng số mô hình, chẳng hạn như gói Nemotron-3.5 Lightning dung lượng 21GB, và biên dịch chúng thành các engine TensorRT. Các engine này được lưu trữ cục bộ, do đó các lần chạy tiếp theo sẽ bỏ qua bước biên dịch. Runtime hỗ trợ môi trường Python, cho phép các nhà phát triển cài đặt gói qua pip trong khi vẫn duy trì quyền truy cập vào các thư viện CUDA và TensorRT cấp hệ thống.

Giải mã suy đoán DSpark đẩy nhanh quá trình sinh văn bản bằng cách giảm số lượng bước tuần tự cần thiết để tạo ra nội dung. Thay vì sinh từng token một, mô hình nháp dự đoán một chuỗi các token tương lai. Sau đó, mô hình chính đánh giá song song các dự đoán này, chấp nhận những token đúng và sửa lỗi cho những token sai. Phương pháp này giúp tăng đáng kể thông lượng mà không làm tăng dấu chân bộ nhớ, khiến nó trở nên lý tưởng cho các thiết bị edge nơi tài nguyên hạn chế nhưng độ trễ lại quan trọng.

Chi tiết chính

• Phần cứng: Bài hướng dẫn sử dụng cấu hình NVIDIA DGX Spark 64GB.
• Stack phần mềm: Yêu cầu NVIDIA CUDA 13, TensorRT phiên bản 10.16.1.11 trở lên và Python 3.10–3.12.
• Mô hình: NVIDIA Nemotron-3.5 Lightning (30 tỷ tham số, lượng tử hóa NVFP4).
• Hiệu suất: DSpark tăng tốc độ sinh trung bình lên 126,9 token/giây đối với các prompt HumanEval.
• Bộ nhớ: Mức sử dụng bộ nhớ hệ thống đỉnh điểm giữ ở mức 27,9GB trong quá trình suy luận khi bật DSpark.
• API: Máy chủ cung cấp endpoint tương thích OpenAI để thử nghiệm ứng dụng cục bộ.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng ứng dụng AI vật lý, khả năng tạo nguyên mẫu trên phần cứng phản ánh đúng các mục tiêu triển khai sản xuất là yếu tố then chốt. Các thiết bị edge thường có ngân sách điện năng và bộ nhớ khắt khe mà GPU trung tâm dữ liệu không phải chịu. Bằng cách cung cấp một nền tảng phát triển chia sẻ cùng runtime suy luận với các mục tiêu triển khai như Jetson Thor, NVIDIA giảm thiểu rủi ro gặp phải những bất ngờ về hiệu suất khi đưa mã vào hiện trường. Sự nhất quán này giúp các nhóm lặp nhanh hơn trên các tác nhân phải cảm nhận và hành động trong môi trường thời gian thực.

Các chỉ số hiệu suất cũng cho thấy sự trưởng thành của các công cụ suy luận edge. Việc đạt hơn 120 token mỗi giây trên một mô hình 30 tỷ tham số trong khi giữ bộ nhớ dưới 28GB chứng minh rằng các tác vụ suy luận phức tạp đang trở nên khả thi trên phần cứng nhỏ gọn. Điều này mở ra những khả năng mới cho các hệ thống tự động cần xử lý chỉ dẫn ngôn ngữ tự nhiên hoặc tạo báo cáo cục bộ mà không phụ thuộc vào kết nối đám mây không liên tục.

Bạn có thể làm gì

• Cài đặt TensorRT Edge-LLM phiên bản 0.11.1 trong một môi trường ảo trên hệ thống DGX Spark của bạn.
• Xác minh phiên bản TensorRT của bạn là 10.16.1.11 trở lên trước khi bắt đầu xây dựng engine.
• Chạy lệnh trtedge chat để kiểm tra Nemotron-3.5 Lightning với các prompt đơn giản.
• Khởi động máy chủ API cục bộ bằng cách sử dụng trtedge serve để tích hợp mô hình vào các ứng dụng của bạn.
• Bật giải mã suy đoán DSpark với ba token nháp để tăng tốc độ sinh văn bản.
• Khám phá các mô hình được hỗ trợ khác, bao gồm các tùy chọn thị giác-ngôn ngữ và nhận dạng giọng nói.