Benchmark của Cohere Transcribe cho thấy khoảng cách về độ chính xác trên âm thanh cuộc họp

Các kỹ sư độc lập tại InferenceBench đã thử nghiệm mô hình cohere-transcribe-03-2026 của Cohere trên phần cứng H100 vào tháng 10 năm 2026. Kết quả xác nhận độ chính xác cao đối với giọng nói studio sạch sẽ nhưng cũng chỉ ra sự sụt giảm hiệu suất đáng kể trên âm thanh cuộc họp thực tế so với các số liệu do nhà cung cấp công bố.

Chuyện gì đã xảy ra

Cohere đã phát hành cohere-transcribe-03-2026 vào tháng 3 năm 2026, quảng bá đây là giải pháp chuyển đổi giọng nói thành văn bản (speech-to-text) hiệu năng cao. Công ty tuyên bố tỷ lệ lỗi từ (Word Error Rate - WER) trung bình là 5,42% trên bốn bộ dữ liệu tiêu chuẩn, định vị nó như một đối thủ cạnh tranh với OpenAI Whisper Large v3 và các dịch vụ lưu trữ như Deepgram. Để xác minh những tuyên bố này, nhóm InferenceBench đã chạy mô hình trên GPU NVIDIA H100 sử dụng cấu hình một, hai, bốn và tám card.

Đánh giá độc lập sử dụng cùng bốn bộ dữ liệu mà Cohere trích dẫn: LibriSpeech-clean, LibriSpeech-other, AMI-IHM, AMI-SDM và VoxPopuli. Trong khi mô hình đạt được mức WER ấn tượng 1,46% trên tập con LibriSpeech sạch, mức trung bình chung trên cả bốn bộ dữ liệu là 13,65%. Con số này cao gấp khoảng 2,5 lần so với mức 5,42% mà Cohere quảng cáo. Sự sai lệch chủ yếu bắt nguồn từ hiệu suất kém trên các bộ dữ liệu cuộc họp AMI, nơi tỷ lệ lỗi vượt quá 25%.

Ngoài ra, thành phần đánh giá đa ngôn ngữ của bài kiểm tra đã thất bại hoàn toàn do một vấn đề về cơ sở hạ tầng benchmarking. Khung thử nghiệm không thể tải các mẫu âm thanh cho bất kỳ ngôn ngữ nào trong số 14 ngôn ngữ được thử, trả về không có mẫu hoạt động nào. Mặc dù điều này dường như là một lỗi kiểm thử hơn là lỗi của mô hình, nó khiến khả năng đa ngôn ngữ của Cohere chưa được xác minh bởi đợt đánh giá độc lập cụ thể này.

Cách thức hoạt động

Cohere Transcribe 03-2026 là kiến trúc transformer encoder-decoder được huấn luyện trên một kho ngữ liệu đa ngôn ngữ lớn. Nó được thiết kế để chạy hiệu quả trên các thiết lập một GPU cho khối lượng công việc sản xuất, mặc dù có thể mở rộng quy mô trên nhiều GPU để tăng thông lượng. Mô hình có sẵn qua API và dưới dạng checkpoint có thể tải xuống theo giấy phép thương mại.

Về tốc độ, mô hình đạt Hệ số Thời gian Thực (Real-Time Factor - RTFx) khoảng 12x trên tất cả các cấu hình GPU được thử nghiệm. Điều này có nghĩa là nó có thể chuyển đổi 30 giây âm thanh trong khoảng 2,5 giây thời gian tính toán. Đáng chú ý, việc thêm nhiều GPU làm tăng tổng số tác vụ đồng thời mà hệ thống có thể xử lý nhưng không giảm độ trễ cho từng yêu cầu riêng lẻ. Tốc độ mỗi yêu cầu vẫn không đổi bất kể sử dụng một hay tám H100.

Mô hình cũng thể hiện hành vi ổn định khi xử lý âm thanh phi giọng nói. Khác với một số hệ thống nhận dạng giọng nói tự động trước đây thường tạo ra văn bản ảo giác (hallucinate) trong khoảng lặng hoặc tiếng ồn, Cohere Transcribe trả về đầu ra trống hoặc tối thiểu khi gặp nhạc, nhiễu trắng hoặc các đoạn im lặng. Sự ổn định này kéo dài đến cả các điều kiện tín hiệu bị suy giảm, nơi hiệu suất giảm dần một cách mượt mà thay vì sụp đổ thành các bản ghi chép vô nghĩa.

Chi tiết quan trọng

• Độ chính xác giọng nói sạch: Mô hình đạt mức WER 1,46% trên LibriSpeech-clean, tương đương với kết quả hàng đầu trên bảng xếp hạng công khai.
• Khó khăn với âm thanh cuộc họp: WER tăng vọt lên 17,74% trên AMI-IHM (mic tai nghe) và 29,17% trên AMI-SDM (mic từ xa), kéo mức trung bình chung lên cao.
• Hiệu quả chi phí: Việc tự triển khai (self-hosting) trên một H100 tốn khoảng $0.21 mỗi giờ âm thanh, rẻ hơn hầu hết các API lưu trữ ở quy mô lớn.
• Khoảng trống đa ngôn ngữ: Bài kiểm tra độc lập không thể xác minh hiệu suất đa ngôn ngữ vì khung thử nghiệm không tải được các mẫu dữ liệu cần thiết.
• Mở rộng thông lượng: Một H100 đơn lẻ có thể xử lý khoảng 600 giờ âm thanh mỗi ngày, với các thiết lập đa GPU bổ sung dung lượng nhưng không tăng tốc độ cho mỗi đoạn clip.
• Tính bền vững: Mô hình tránh tạo ra văn bản ảo giác trong khoảng lặng hoặc tiếng ồn, cung cấp đầu ra trống thay vì lời nói bịa đặt.

Tại sao điều này quan trọng

Đối với các nhóm kỹ thuật xây dựng sản phẩm tích hợp giọng nói, khoảng cách giữa tuyên bố tiếp thị và hiệu suất thực tế là rất quan trọng. Nếu ứng dụng của bạn liên quan đến việc chuyển đổi podcast, đọc chính tả hoặc bản ghi chất lượng studio, Cohere Transcribe hoạt động cực kỳ tốt. Tuy nhiên, đối với các trường hợp sử dụng liên quan đến cuộc gọi hội nghị, bản ghi cuộc họp hoặc micrô tầm xa, tỷ lệ lỗi có thể quá cao nếu không có bước tiền xử lý bổ sung. Các nhà phát triển phải tính đến đặc thù miền dữ liệu (domain specificity) này khi lựa chọn giữa các mô hình tự triển khai và API được quản lý.

Phân tích chi phí cũng thay đổi khuôn khổ ra quyết định cho người dùng khối lượng lớn. Với mức khoảng $0.21 mỗi giờ âm thanh trên hạ tầng tự triển khai, mô hình trở nên khả thi về mặt kinh tế cho các công ty xử lý hơn 2.000 giờ âm thanh mỗi tháng. Dưới ngưỡng đó, độ phức tạp vận hành của việc quản lý hạ tầng GPU có thể lớn hơn khoản tiết kiệm so với các giải pháp lưu trữ như Deepgram hoặc AssemblyAI. Hiểu rõ điểm hòa vốn giúp các nhà sáng lập kỹ thuật phân bổ ngân sách hiệu quả giữa tài nguyên tính toán và thời gian kỹ thuật.

Bạn có thể làm gì

• Đánh giá nguồn âm thanh chính của bạn; nếu nó liên quan đến giọng nói chồng chéo hoặc micrô từ xa, hãy dự trù tỷ lệ lỗi cao hơn hoặc triển khai phân đoạn dựa trên phát hiện hoạt động giọng nói (voice activity detection chunking).
• Tính toán khối lượng âm thanh hàng tháng của bạn để xác định xem việc tự triển khai trên H100 có mang lại lợi ích chi phí so với các API lưu trữ như Deepgram hoặc AssemblyAI hay không.
• Kiểm thử mô hình với các mẫu dữ liệu cụ thể của bạn trước khi cam kết, đặc biệt nếu hỗ trợ đa ngôn ngữ là yêu cầu cốt lõi, vì sự xác minh độc lập hiện đang thiếu sót.
• Sử dụng triển khai một GPU cho tích hợp ban đầu vì việc thêm nhiều GPU sẽ không cải thiện độ trễ mỗi yêu cầu, chỉ tăng tổng thông lượng.
• Đảm bảo âm thanh đầu vào được lấy mẫu lại thành mono 16 kHz trước khi xử lý để tránh suy giảm chất lượng ngầm định.
• Giám sát tình trạng ảo giác trong môi trường nhiều tiếng ồn, mặc dù mô hình này cho thấy tính bền vững được cải thiện so với các kiến trúc cũ hơn.