NVIDIA Nemotron 3.5 Super VL có mặt trên SageMaker với ngữ cảnh 1 triệu token

Amazon Web Services thông báo vào ngày 9 tháng 11 năm 2026 rằng NVIDIA Nemotron 3.5 Super VL đã sẵn sàng để triển khai qua Amazon SageMaker JumpStart. Bản phát hành này mang đến cho các kỹ sư quyền truy cập ngay lập tức vào một mô hình thị giác-ngôn ngữ có dung lượng lớn, được thiết kế cho các tác vụ đa phương thức phức tạp, bao gồm trí tuệ tài liệu và hiểu biết về video.

Chuyện gì đã xảy ra

Mô hình mới gia nhập dòng NVIDIA Nemotron 3.5 với tư cách là thành phần chuyên biệt về thị giác-ngôn ngữ. Nó chấp nhận đầu vào là hình ảnh, video và văn bản, đồng thời tạo ra phản hồi dạng văn bản. Kiến trúc kết hợp bộ khung ngôn ngữ Mixture-of-Experts lai khổng lồ với 120 tỷ tham số cùng bộ mã hóa thị giác C-RADIO chuyên dụng. Bất chấp kích thước tổng thể, mô hình chỉ kích hoạt 12 tỷ tham số cho mỗi token, cân bằng giữa tải tính toán và hiệu suất.

SageMaker JumpStart cung cấp hai biến thể riêng biệt để đáp ứng các nhu cầu kỹ thuật khác nhau. Lựa chọn mặc định là NVFP4, một phiên bản lượng tử hóa được tối ưu hóa cho độ trễ và thông lượng trên phần cứng GPU mới hơn. Tùy chọn thứ hai cung cấp trọng số tham chiếu độ chính xác đầy đủ BF16, dành cho các nhóm dự định thực hiện tùy chỉnh sâu hơn, chẳng hạn như tinh chỉnh có giám sát (supervised fine-tuning) hoặc thích ứng theo lĩnh vực. Cả hai biến thể đều hỗ trợ độ dài ngữ cảnh lên đến một triệu token, cho phép xử lý các tài liệu đồ sộ hoặc chuỗi video dài.

Quy trình triển khai được đơn giản hóa thông qua SageMaker Studio hoặc SageMaker Python SDK. Các kỹ sư có thể chọn thẻ mô hình, lựa chọn loại instance mong muốn và triển khai endpoint trong khoảng mười phút. Dịch vụ này cung cấp API chat completions sử dụng vLLM, cho phép các nhà phát triển tích hợp mô hình bằng các định dạng yêu cầu quen thuộc, trong khi xử lý dữ liệu truyền thông dưới dạng data URL được mã hóa base64.

Cách thức hoạt động

Nemotron 3.5 Super VL sử dụng kiến trúc lai xen kẽ các lớp Mamba-2 và Mixture-of-Experts trong bộ khung ngôn ngữ 88 lớp. Thiết kế này cho phép mô hình định tuyến các tác vụ tới những chuyên gia cụ thể, chỉ kích hoạt một tập hợp con từ 512 chuyên gia khả dụng cho bất kỳ token nào. Một đầu Multi-Token Prediction dùng chung hỗ trợ giải mã suy đoán (speculative decoding), mặc dù tính năng này không được bật trong cấu hình phục vụ mặc định của JumpStart. Bộ mã hóa thị giác xử lý hình ảnh và các khung hình video được lấy mẫu, ánh xạ chúng vào không gian embedding của bộ khung ngôn ngữ thông qua một bộ kết nối thị giác-ngôn ngữ.

Về mặt suy luận, mô hình phân biệt giữa các tác vụ nặng về suy luận và trích xuất trực tiếp. Suy luận được bật theo mặc định, cho phép mô hình suy nghĩ kỹ lưỡng trước khi trả lời các vấn đề phức tạp. Nhà phát triển có thể tắt tính năng này cho các tác vụ đơn giản hơn như nhận dạng ký tự quang học (OCR) hoặc trích xuất JSON để giảm độ trễ. Biến thể NVFP4 sử dụng trọng số và kích hoạt 4-bit trên GPU Blackwell, giữ cho các thành phần thị giác ở độ chính xác cao hơn để duy trì độ chính xác trong khi giảm dấu vết bộ nhớ.

Chi tiết quan trọng

• Kiến trúc: Tổng cộng 120B tham số với 12B tham số hoạt động cho mỗi token, sử dụng bộ khung lai Mamba-2 và MoE.
• Cửa sổ ngữ cảnh: Hỗ trợ lên đến 1 triệu token, với các cấu hình phục vụ dao động từ 520 đến 15.600 token.
• Biến thể: NVFP4 cho suy luận được tối ưu hóa trên các instance G7 và BF16 cho việc tùy chỉnh trên các instance P5en.
• Đầu vào: Chấp nhận văn bản, hình ảnh và các đoạn video MP4 ngắn, với dữ liệu truyền thông được cung cấp dưới dạng data URL mã hóa base64.
• Ngôn ngữ: Hỗ trợ tiếng Anh, Pháp, Đức, Ý, Nhật, Tây Ban Nha và Trung Quốc.
• Giấy phép: Phát hành theo Thỏa thuận Giấy phép OpenMDW, phiên bản 1.1.

Tại sao điều này lại quan trọng

Đối với các nhà xây dựng phần mềm, việc mô hình này có sẵn trên SageMaker JumpStart làm giảm rào cản gia nhập cho các ứng dụng đa phương thức tiên tiến. Khả năng xử lý ngữ cảnh dài có nghĩa là các kỹ sư có thể xây dựng các agent phân tích toàn bộ hướng dẫn kỹ thuật, hợp đồng pháp lý hoặc nhật ký video dài mà không cần chia nhỏ chúng thành các đoạn ngẫu nhiên. Điều này làm giảm độ phức tạp của logic ứng dụng và cải thiện sự mạch lạc trong phản hồi của mô hình trên các tập dữ liệu lớn.

Sự khác biệt giữa biến thể NVFP4 và BF16 cũng mang lại tính linh hoạt chiến lược. Các nhóm tập trung vào suy luận sản xuất có thể tận dụng mô hình NVFP4 lượng tử hóa trên các instance G7 tiết kiệm chi phí để đạt được độ trễ thấp. Trong khi đó, các nhóm nghiên cứu và phát triển có thể sử dụng trọng số BF16 để tinh chỉnh mô hình cho các ngành dọc cụ thể, chẳng hạn như y tế hoặc tài chính, trước khi triển khai một phiên bản tùy chỉnh. Cách tiếp cận kép này hỗ trợ cả nguyên mẫu nhanh chóng và chuyên sâu hóa.

Bạn có thể làm gì

• Yêu cầu tăng hạn mức dịch vụ cho các instance ml.g7.24xlarge hoặc ml.p5en.48xlarge trong tài khoản AWS của bạn trước khi thử triển khai.
• Sử dụng SageMaker Python SDK v3.25 trở lên để tự động hóa quy trình triển khai và quản lý cấu hình endpoint một cách lập trình.
• Kết xuất các trang PDF sang hình ảnh PNG trước khi gửi chúng đến mô hình, vì endpoint không chấp nhận trực tiếp các tệp PDF thô.
• Tắt suy luận bằng enable_thinking=False cho các tác vụ trích xuất đơn giản để cải thiện tốc độ phản hồi và giảm mức sử dụng token.
• Đặt max_tokens ít nhất là 8.192 khi thực hiện phân tích video với suy luận được bật để đảm bảo mô hình có đủ không gian để xử lý dữ liệu hình ảnh.
• Thử nghiệm biến thể NVFP4 trên các instance ml.g7.24xlarge trước để đánh giá hiệu suất cơ bản trước khi mở rộng sang các cấu hình phần cứng lớn hơn.