IBM phát hành Granite Speech 5.0 với tốc độ phiên âm nhanh hơn và khả năng theo dõi người nói tốt hơn

IBM đã phát hành ba bản cập nhật cho bộ sưu tập Granite Speech, giới thiệu một mô hình ngôn ngữ giọng nói mới và sửa đổi hai mô hình hiện có để cải thiện độ chính xác, tốc độ và việc gán nhãn người nói. Được công bố vào ngày 21 tháng 10 năm 2026, các mô hình mã nguồn mở này nhằm mục đích bao quát toàn bộ phổ các tác vụ xử lý giọng nói doanh nghiệp, từ phiên âm chất lượng cao đến xử lý thời gian thực trên thiết bị biên.

Chuyện gì đã xảy ra

Trọng tâm của đợt phát hành này là granite-speech-5.0-2b, một mô hình mới thay thế phiên bản 4.1 trước đó với cùng số lượng tham số. Nó hỗ trợ phiên âm tiếng Anh, Pháp, Đức, Tây Ban Nha, Bồ Đào Nha và Nhật Bản, đồng thời cung cấp khả năng dịch giữa các ngôn ngữ này với tiếng Anh, cũng như từ tiếng Anh sang tiếng Ý và tiếng Quan thoại. Mô hình được huấn luyện trên 390.000 giờ âm thanh công khai, bổ sung thêm dữ liệu tổng hợp được thiết kế để cải thiện hiệu suất nhận dạng giọng nói tự động (ASR) cho tiếng Nhật, ưu tiên từ khóa và dịch thuật.

Cùng với mô hình 2B mới, IBM đã cập nhật granite-speech-5.0-470m-turboctc. Vốn là một bộ mã hóa chỉ dành cho tiếng Anh tập trung vào tốc độ, phiên bản sửa đổi này bổ sung hỗ trợ đa ngôn ngữ cho bảy ngôn ngữ cùng với dấu câu và viết hoa gốc. Nó cũng có khả năng chống chịu tốt hơn với âm thanh vang vọng và phòng có tiếng dội. Thông qua các tối ưu hóa kỹ thuật biên dịch một khối Conformer duy nhất và tái sử dụng đồ thị của nó, mô hình đã đạt được sự tăng tốc đáng kể, đạt 19.870 RTFx trên Bảng xếp hạng Open ASR, tăng từ khoảng 12.600 RTFx khi ra mắt.

Bản cập nhật thứ ba nhắm vào các kịch bản nhiều người nói với granite-speech-4.1-2b-plus. Mô hình này giữ nguyên kiến trúc và API của phiên bản tiền nhiệm nhưng cung cấp trọng số được cải thiện để gán nhãn người nói và độ chính xác mốc thời gian tốt hơn. Nó được thiết kế như một giải pháp thay thế trực tiếp (drop-in replacement) cho các doanh nghiệp xử lý cuộc họp, cuộc gọi hỗ trợ và phỏng vấn, nơi việc xác định ai đã nói và khi nào là yếu tố then chốt.

Cách thức hoạt động

Mô hình granite-speech-5.0-2b mới giới thiệu cơ chế nhắc nhở nhận diện ngôn ngữ (language ID prompting), cho phép người dùng chỉ định ngôn ngữ đầu vào để điều hướng quá trình phiên âm đa ngôn ngữ. Nó cũng hỗ trợ danh sách ưu tiên từ khóa lên tới 2.000 thuật ngữ, giúp mô hình ưu tiên các tên sản phẩm, tên người hoặc từ viết tắt cụ thể trong quá trình phiên âm và dịch thuật. Người dùng có thể yêu cầu đầu ra được định dạng với dấu câu và viết hoa, đạt điểm F1 về viết hoa từ 89,7 đến 99,5 trên các bộ kiểm thử.

Đối với mô hình Turbo CTC, mức tăng hiệu suất đến từ việc biên dịch một khối Conformer duy nhất và tái sử dụng đồ thị tính toán của nó trên toàn bộ stack. Điều này giảm thời gian khởi động nóng (warmup time) và tăng thông lượng mà không làm giảm độ chính xác. Mô hình hiện xuất ra văn bản phiên âm với dấu câu và viết hoa gốc, loại bỏ nhu cầu về các bước xử lý hậu kỳ riêng biệt.

Mô hình granite-speech-4.1-2b-plus cải thiện việc gán nhãn người nói bằng cách giảm tỷ lệ lỗi phân tách lời nói theo từ (WDER) xuống 7% và tỷ lệ lỗi từ có gán nhãn người nói (cpWER) xuống 7%. Nó cũng cắt giảm hơn một nửa độ lệch mốc thời gian trung bình (AAS) cho tất cả các bài phát biểu, cung cấp thời gian chính xác hơn cho phụ đề và lập chỉ mục tìm kiếm. Ngoài ra, nó giảm 45% lỗi đối với các từ khóa ưu tiên khi sử dụng danh sách 20 từ khóa.

Chi tiết quan trọng

• granite-speech-5.0-2b xếp thứ hai trong số các mô hình ASR mã nguồn mở hàng đầu về tỷ lệ lỗi từ trung bình (WER) trong tiếng Anh ở mức 5,06%.
• Mô hình Turbo CTC hiện nhanh gấp 1,6 lần so với phiên bản ra mắt, đạt 19.870 RTFx.
• granite-speech-4.1-2b-plus giảm độ lệch mốc thời gian trung bình từ 210,86 xuống còn 98,54 cho tất cả các bài phát biểu.
• Cả ba mô hình đều được phát hành dưới giấy phép Apache 2.0.
• Hỗ trợ gốc có sẵn trong Transformers, vLLM, llama.cpp và mlx-audio cho Apple Silicon.
• Mô hình 2B hỗ trợ danh sách ưu tiên từ khóa lên tới 2.000 thuật ngữ.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng tính năng phiên âm, những bản cập nhật này mang lại sự kiểm soát và linh hoạt lớn hơn. Khả năng ưu tiên từ khóa cho phép các ứng dụng xử lý chính xác các thuật ngữ chuyên ngành, điều rất quan trọng đối với các ngành như y tế, pháp lý và tài chính. Khả năng chống chịu tốt hơn với nhiễu và tiếng vang nghĩa là các mô hình này có thể hoạt động tốt hơn trong môi trường thực tế, chẳng hạn như phòng hội nghị hoặc cuộc gọi từ xa, mà không cần xử lý sơ bộ âm thanh phức tạp.

Những cải tiến về tốc độ trong mô hình Turbo CTC làm cho việc phiên âm thời gian thực trên thiết bị trở nên khả thi hơn. Điều này đặc biệt quan trọng đối với các ứng dụng chạy trên thiết bị biên hoặc trong trình duyệt, nơi độ trễ và ràng buộc tài nguyên là những yếu tố đáng kể. Hỗ trợ gốc cho dấu câu và viết hoa đơn giản hóa quy trình, giảm nhu cầu về các mô hình hoặc dịch vụ bổ sung để định dạng đầu ra.

Việc gán nhãn người nói và độ chính xác mốc thời gian được cải thiện trong mô hình 4.1 Plus nâng cao tính hữu ích của văn bản phiên âm cho tóm tắt cuộc họp và tìm kiếm. Mốc thời gian chính xác cho phép người dùng nhảy đến các phần cụ thể của bản ghi, trong khi việc gán nhãn người nói đúng giúp dễ dàng theo dõi cuộc trò chuyện. Những cải tiến này giảm bớt nỗ lực thủ công cần thiết để làm sạch và tổ chức dữ liệu phiên âm.

Bạn có thể làm gì

• Đánh giá granite-speech-5.0-2b cho các tác vụ phiên âm và dịch đa ngôn ngữ độ chính xác cao.
• Sử dụng granite-speech-5.0-470m-turboctc cho nhu cầu phiên âm thông lượng cao hoặc trên thiết bị, tận dụng demo truyền trực tiếp WebGPU của nó.
• Triển khai granite-speech-4.1-2b-plus cho các ứng dụng liên quan đến cuộc họp, cuộc gọi hoặc bản ghi nhiều người nói, nơi việc xác định người nói là yếu tố then chốt.
• Triển khai ưu tiên từ khóa trong mô hình 2B để cải thiện độ chính xác cho các thuật ngữ và tên chuyên ngành.
• Kiểm thử các mô hình với âm thanh nhiễu hoặc vang vọng để đánh giá khả năng chống chịu của chúng trong trường hợp sử dụng cụ thể của bạn.
• Cân nhắc kết hợp các mô hình này với Granite Guardian cho các triển khai sản xuất đòi hỏi phát hiện rủi ro bổ sung.