Nvidia phát hành mô hình Nemotron 3.5 Transcribe có thể tùy chỉnh bằng prompt

Nvidia vừa phát hành Nemotron 3.5 Transcribe, một mô hình nhận dạng giọng nói tự động (ASR) mới với trọng số mở, được thiết kế cho âm thanh đã ghi. Ra mắt vào ngày 28 tháng 10 năm 2026, mô hình này cho phép các nhà phát triển cung cấp các chỉ dẫn cụ thể trước khi xử lý tệp âm thanh. Hiện tại, nó đang dẫn đầu bảng xếp hạng Hugging Face Open ASR cho tiếng Anh với tỷ lệ lỗi từ (word error rate) là 5,33%.

Chuyện gì đã xảy ra

Đổi mới cốt lõi trong phiên bản phát hành này là khả năng chấp nhận prompt của mô hình. Khác với các công cụ chuyển ngữ truyền thống chỉ đơn thuần chuyển đổi âm thanh thành văn bản, Nemotron 3.5 Transcribe cho phép người dùng thiết lập bối cảnh trước. Một nhà phát triển có thể chỉ định rằng tệp âm thanh chứa một cuộc thảo luận y khoa bằng tiếng Anh và cung cấp danh sách các thuật ngữ chuyên ngành. Mô hình sử dụng bối cảnh này để giảm thiểu lỗi và nâng cao tính liên quan.

Người dùng cũng có thể hướng dẫn mô hình về định dạng đầu ra. Các yêu cầu có thể bao gồm việc gắn nhãn cho từng người nói, tạo ra bản ghi nguyên văn so với bản đã được làm sạch, hoặc xác định cách hiển thị số trong văn bản. Nvidia tích hợp những khả năng này, bao gồm cả tính năng dịch thuật, vào một checkpoint duy nhất. Việc hợp nhất này nhằm mục đích đơn giản hóa kiến trúc cho các ứng dụng yêu cầu nhiều tác vụ xử lý giọng nói.

Mô hình hỗ trợ chuyển ngữ cho 40 ngôn ngữ và có thể dịch 31 trong số đó sang hoặc từ tiếng Anh. Tính năng gán nguồn gốc người nói (speaker attribution), giúp xác định ai đang nói, hoạt động cho 13 ngôn ngữ và có thể phân biệt tối đa tám giọng nói khác nhau. Tuy nhiên, tính năng Hỏi đáp Âm thanh (Audio Question and Answering) chỉ được huấn luyện trên tiếng Anh. Hệ thống xử lý các bản ghi có độ dài lên đến một giờ nhưng không hỗ trợ âm thanh trực tiếp (live streaming).

Cách thức hoạt động

Nemotron 3.5 Transcribe là mô hình mixture-of-experts với 30 tỷ tham số. Trong kiến trúc này, chỉ một tập con của tổng số tham số được kích hoạt cho bất kỳ đầu vào nào. Đối với mô hình này, có 4 tỷ tham số hoạt động. Thiết kế này cho phép nó cạnh tranh về độ chính xác với các mô hình lớn hơn trong khi vẫn duy trì nhu cầu tính toán thấp hơn trong quá trình suy luận. Ví dụ, nó đạt tỷ lệ lỗi từ 2,81% trên các benchmark của Artificial Analysis, tương đương với Voxtral Small của Mistral, vốn sử dụng 24 tỷ tham số hoạt động.

Các nhà phát triển có thể triển khai mô hình bằng vLLM hoặc chạy cục bộ với NeMo-Speech.cpp. Nvidia tuyên bố rằng mô hình chạy trên một GPU đơn lẻ, hỗ trợ phần cứng từ Jetson AGX Thor và DGX Spark đến các GPU trung tâm dữ liệu Blackwell. Vì đây là mô hình trọng số mở theo giấy phép OpenMDW-1.1, người dùng có thể tinh chỉnh (fine-tune) nó cho các lĩnh vực cụ thể. Nvidia báo cáo rằng việc tinh chỉnh cho chuyển ngữ y khoa đã giảm tỷ lệ lỗi từ từ 22,44% xuống còn 12,17% trên các người nói bị giữ lại (held-out speakers), tức là giảm tương đối 45,8%. Quá trình thích ứng này cần khoảng 14 giờ GPU trên một đơn vị GB300.

Để hỗ trợ tùy chỉnh, Nvidia cũng phát hành Granary v2, một quy trình chọn lọc dữ liệu được xây dựng bằng NeMo Curator. Công cụ này bao gồm các manifest công khai bao phủ khoảng 463.062 giờ âm thanh trên 48 ngôn ngữ và 16 kho ngữ liệu nguồn. Các nhà phát triển có thể sử dụng quy trình này để chuẩn bị các bản ghi của riêng họ cho việc tinh chỉnh, mặc dù những con số này đại diện cho phiên bản phát hành dataset chứ không phải toàn bộ hỗn hợp huấn luyện được sử dụng cho mô hình cơ sở.

Chi tiết chính

• Kiến trúc mô hình: Mixture-of-experts với 30 tỷ tham số, trong đó 4 tỷ tham số hoạt động.
• Hiệu suất: Xếp hạng hàng đầu trên bảng xếp hạng Hugging Face Open ASR cho tiếng Anh với tỷ lệ lỗi từ 5,33%.
• Hỗ trợ ngôn ngữ: Chuyển ngữ 40 ngôn ngữ; dịch 31 ngôn ngữ sang hoặc từ tiếng Anh.
• Xử lý người nói: Gán nguồn gốc người nói cho 13 ngôn ngữ và phân biệt tối đa tám giọng nói.
• Triển khai: Chạy trên một GPU đơn lẻ sử dụng vLLM hoặc NeMo-Speech.cpp; hỗ trợ từ GPU Jetson AGX Thor đến Blackwell.
• Giấy phép: Trọng số mở theo OpenMDW-1.1, cho phép tinh chỉnh và sử dụng thương mại.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng ứng dụng hỗ trợ giọng nói, khả năng đưa prompt vào mô hình chuyển ngữ giúp giảm bớt sự cần thiết của các script hậu xử lý phức tạp. Theo truyền thống, các nhà phát triển phải xây dựng các hệ thống riêng biệt để làm sạch bản ghi, định dạng số hoặc xác định người nói. Bằng cách xử lý các tác vụ này ngay trong mô hình thông qua prompt, quy trình phát triển trở nên đơn giản và dễ bảo trì hơn. Cách tiếp cận checkpoint duy nhất cũng giảm bớt chi phí hạ tầng cho việc quản lý nhiều mô hình chuyên biệt.

Bản chất trọng số mở của mô hình rất quan trọng đối với các ngành có yêu cầu nghiêm ngặt về quyền riêng tư dữ liệu, chẳng hạn như y tế và tài chính. Các tổ chức có thể tinh chỉnh mô hình trên dữ liệu riêng tư của họ mà không cần gửi âm thanh nhạy cảm tới các API của bên thứ ba. Mức giảm tỷ lệ lỗi sau khi tinh chỉnh được báo cáo cho thấy việc thích ứng theo lĩnh vực cụ thể là hiệu quả, giúp truy cập vào chuyển ngữ độ chính xác cao cho các trường hợp sử dụng chuyên biệt mà không đòi hỏi tài nguyên tính toán khổng lồ để huấn luyện từ đầu.

Bạn có thể làm gì

• Tải trọng số của Nemotron 3.5 Transcribe từ Hugging Face theo giấy phép OpenMDW-1.1.
• Kiểm thử mô hình cục bộ bằng NeMo-Speech.cpp trên phần cứng GPU đơn lẻ tương thích.
• Sử dụng quy trình Granary v2 để chọn lọc và chuẩn bị các dataset âm thanh của riêng bạn cho việc tinh chỉnh.
• Thử nghiệm với kỹ thuật prompt engineering để xác định bối cảnh, nhãn người nói và định dạng đầu ra cho lĩnh vực cụ thể của bạn.
• Đánh giá hiệu suất của mô hình trên các ngôn ngữ mục tiêu, lưu ý rằng Audio Q&A hiện chỉ hỗ trợ tiếng Anh.
• Cân nhắc tinh chỉnh nếu bạn làm việc trong các lĩnh vực chuyên biệt như y học hoặc luật pháp để giảm đáng kể tỷ lệ lỗi từ.