NVIDIA phát hành Nemotron 3.5 Transcribe với trọng số mở cho xử lý giọng nói theo yêu cầu

NVIDIA đã phát hành Nemotron 3.5 Transcribe, một mô hình giọng nói với trọng số mở kết hợp các chức năng chuyển văn bản, xác định người nói và dịch thuật vào một checkpoint duy nhất. Hiện có sẵn trên Hugging Face và ModelScope, mô hình này hỗ trợ chuyển văn bản cho 40 ngôn ngữ và cho phép các nhà phát triển hướng dẫn đầu ra bằng các câu lệnh (prompt) ngôn ngữ tự nhiên. Bản phát hành này đánh dấu một bước tiến quan trọng hướng tới quy trình xử lý giọng nói có độ chính xác cao, tùy biến được, có thể chạy cục bộ hoặc mở rộng trong các trung tâm dữ liệu.

Điều gì đã xảy ra

Mô hình mới xử lý các bản ghi âm dài tối đa một giờ và có thể xác định người nói trong 13 ngôn ngữ, gắn nhãn cho tối đa tám giọng nói riêng biệt. Nó dịch 31 ngôn ngữ sang hoặc từ tiếng Anh và hỗ trợ trả lời câu hỏi dựa trên âm thanh, mặc dù tính năng sau chủ yếu được huấn luyện bằng tiếng Anh. Các nhà phát triển có thể sử dụng chỉ dẫn ngôn ngữ tự nhiên để chỉ định định dạng đầu ra, chẳng hạn như yêu cầu gắn nhãn người nói, bản dịch hoặc định dạng cụ thể cho các thuật ngữ chuyên ngành như thuật ngữ y khoa.

Nemotron 3.5 Transcribe dẫn đầu Bảng xếp hạng ASR Mở của Hugging Face về tiếng Anh trong số các mô hình có trọng số mở với tỷ lệ lỗi từ trung bình (WER) là 5,33%. Nó cũng xếp thứ nhất trên bảng xếp hạng phân tách người nói gồm 21 ngôn ngữ của David AI và đứng đầu so sánh giữa 14 hệ thống của VoiceArena về việc xác định người nói. Các benchmark này làm nổi bật khả năng xử lý các cuộc hội thoại chồng chéo và tốc độ nói nhanh, như được minh chứng qua các bài kiểm tra sử dụng các cảnh từ bộ phim năm 1940 "His Girl Friday".

Cùng với mô hình, NVIDIA đã phát hành Granary v2, một quy trình chọn lọc dữ liệu đa ngôn ngữ được sử dụng để huấn luyện Transcribe. Granary v2 cung cấp các công cụ tái sử dụng để chuẩn bị dữ liệu giọng nói, bao gồm tạo các biến thể bản ghi chép được căn chỉnh và siêu dữ liệu chất lượng. Danh sách công khai bao gồm 463.062 giờ âm thanh thuộc 48 ngôn ngữ, mang đến cho các nhà phát triển nền tảng để xây dựng các bộ dữ liệu giọng nói chuyên biệt của riêng họ.

Cách thức hoạt động

Transcribe sử dụng kiến trúc lai ghép, kết hợp một bộ mã hóa giọng nói với mô hình ngôn ngữ hỗn hợp chuyên gia (mixture-of-experts) Mamba–Transformer. Thiết kế này đảm bảo rằng chỉ khoảng 4 tỷ trong số 30 tỷ tham số của nó được kích hoạt cho mỗi token, đặt nó ở biên giới giữa độ chính xác và số lượng tham số hoạt động. Các tín hiệu về người nói được tích hợp trực tiếp vào quá trình tạo sinh thông qua Sortformer, cho phép mô hình gắn nhãn người nói trong khi chuyển văn bản thay vì phụ thuộc vào một bước xử lý hậu kỳ riêng biệt.

Để thích ứng theo lĩnh vực, NVIDIA cung cấp các công cụ tinh chỉnh NeMo Speech. Một nghiên cứu điển hình trong lĩnh vực y tế cho thấy việc tinh chỉnh đã giảm tỷ lệ lỗi từ xuống 45,8% đối với những người nói chưa từng xuất hiện trong tập huấn luyện so với việc chỉ dùng prompt. Quy trình này liên quan đến việc tạo giọng nói tổng hợp từ các mục tiêu văn bản, chẳng hạn như chuyển đổi "HbA1c" thành dạng nói, và huấn luyện mô hình với các adapter LoRA. Điều này cho phép hệ thống học các từ vựng và quy ước định dạng cụ thể mà không cần phải huấn luyện lại toàn bộ mô hình.

Granary v2 hỗ trợ quy trình làm việc này bằng cách tạo ra ba dạng bản ghi chép cho mỗi bản ghi: nguyên văn chuẩn hóa văn bản, chuẩn hóa ngược văn bản bao gồm cả các lỗi diễn đạt, và chuẩn hóa ngược văn bản sạch. Các nhà phát triển có thể sử dụng những biến thể này để xác định chính xác cách họ muốn mô hình xử lý số liệu, đơn vị và các từ đệm. Quy trình này loại bỏ các đoạn âm thanh kém chất lượng, đảm bảo dữ liệu huấn luyện đáp ứng các tiêu chuẩn độ trung thực cao.

Chi tiết chính

• Hỗ trợ chuyển văn bản cho 40 ngôn ngữ và dịch thuật cho 31 ngôn ngữ sang hoặc từ tiếng Anh.
• Đạt WER trung bình 5,33% cho tiếng Anh, dẫn đầu các mô hình trọng số mở trên bảng xếp hạng Hugging Face.
• Xác định tối đa tám người nói trong các bản ghi dài tới một giờ với tỷ lệ lỗi phân tách thấp.
• Sử dụng khoảng 4 tỷ tham số hoạt động cho mỗi token thông qua kiến trúc hỗn hợp chuyên gia.
• Danh sách dữ liệu Granary v2 bao gồm 463.062 giờ âm thanh thuộc 48 ngôn ngữ.
• Các phiên bản lượng tử hóa để triển khai cục bộ trên phần cứng RTX và Jetson sẽ sớm ra mắt.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng ứng dụng điều khiển bằng giọng nói, khả năng ra lệnh cho mô hình tạo ra các định dạng đầu ra cụ thể giúp giảm bớt nhu cầu về các script xử lý hậu kỳ phức tạp. Thay vì viết các quy tắc regex tùy chỉnh để làm sạch bản ghi chép hoặc tách biệt người nói, các nhà phát triển có thể chỉ dẫn mô hình tạo ra đúng định dạng họ cần. Sự linh hoạt này rất quan trọng để xử lý các thuật ngữ chuyên ngành trong các lĩnh vực như y tế hoặc pháp luật, nơi mà việc chuyển văn bản tiêu chuẩn thường gặp thất bại.

Bản chất trọng số mở của mô hình cũng giải quyết các lo ngại về quyền riêng tư dữ liệu. Các tổ chức có thể chạy Transcribe cục bộ trên hạ tầng của riêng mình, giữ dữ liệu âm thanh nhạy cảm trong môi trường bảo mật của họ. Với các phiên bản lượng tử hóa sắp ra mắt cho phần cứng tiêu dùng và edge, quy trình xử lý giọng nói chất lượng cao trở nên dễ tiếp cận mà không cần phụ thuộc vào API của bên thứ ba. Sự chuyển dịch này trao quyền cho các đội ngũ xây dựng các giải pháp giọng nói mạnh mẽ và riêng tư hơn.

Những gì bạn có thể làm

• Tải checkpoint Nemotron 3.5 Transcribe từ Hugging Face hoặc ModelScope để thử nghiệm cục bộ.
• Sử dụng các prompt ngôn ngữ tự nhiên được cung cấp để thử nghiệm với các định dạng đầu ra khác nhau và việc gắn nhãn người nói.
• Khám phá các danh sách Granary v2 để hiểu cấu trúc của dữ liệu huấn luyện giọng nói chất lượng cao.
• Làm theo hướng dẫn tinh chỉnh NeMo Speech để thích ứng mô hình với từ vựng chuyên ngành cụ thể của bạn.
• Triển khai mô hình bằng vLLM hoặc SGLang-Omni để suy luận thông lượng cao trong các môi trường sản xuất.
• Đánh giá mô hình trên các mẫu âm thanh của riêng bạn để xác định những khu vực cần thích ứng theo lĩnh vực.