Cohere Transcribeのベンチマーク、会議音声における精度ギャップを示す

InferenceBenchの独立系エンジニアは2026年10月、H100ハードウェア上でCohereのcohere-transcribe-03-2026モデルをテストしました。結果は、スタジオ品質のクリアな音声に対する高い精度を確認する一方で、ベンダーが公表した指標と比較して、実際の会議音声ではパフォーマンスが大きく低下することを明らかにしました。

何が起きたか

Cohereは2026年3月にcohere-transcribe-03-2026をリリースし、高性能な音声テキスト変換ソリューションとしてマーケティングを行いました。同社は4つの標準データセット全体で平均単語誤り率（WER）5.42%を主張し、OpenAI Whisper Large v3やDeepgramなどのホスト型サービスとの競合製品として位置づけました。これらの主張を検証するため、InferenceBenchチームはNVIDIA H100 GPUを使用し、1枚、2枚、4枚、8枚の構成でモデルを実行しました。

この独立評価では、Cohereが引用したLibriSpeech-clean、LibriSpeech-other、AMI-IHM、AMI-SDM、VoxPopuliの4つのデータセットを使用しました。モデルはクリーンなLibriSpeechサブセットで強力な1.46%のWERを達成しましたが、全データセットを通じた平均は13.65%でした。この数値は、Cohereが広告していた5.42%の約2.5倍です。この乖離は主に、エラー率が25%を超えたAMI会議データセットでの性能低下に起因しています。

さらに、テストの多言語評価コンポーネントは、ベンチマーキングインフラの問題により完全に失敗しました。テストハーネスは試行した14の言語すべてについて音声サンプルを読み込めず、動作するサンプル数はゼロでした。これはモデルの故障ではなくテストバグである可能性が高いものの、この特定の独立レビューによってCohereの多言語機能が未検証のまま残ることになります。

仕組み

Cohere Transcribe 03-2026は、大規模な多言語コーパスで訓練されたエンコーダー・デコーダー型トランスフォーマーアーキテクチャです。本番ワークロードでは単一GPU環境で効率的に実行できるよう設計されていますが、スループット向上のために複数GPUへのスケールアウトも可能です。このモデルはAPI経由および商用ライセンス下でのダウンロード可能なチェックポイントとして利用できます。

速度面では、テストされたすべてのGPU構成において、リアルタイムファクター（RTFx）が約12xに達します。これは、計算時間約2.5秒で30秒分の音声を文字起こしできることを意味します。注目すべきは、GPUを追加するとシステムが処理できる同時ジョブの総数は増加しますが、個別のリクエストに対するレイテンシは短縮されない点です。1枚でも8枚のH100を使用しても、リクエストごとの速度は一定のままです。

また、このモデルは非音声オーディオの処理においても堅牢な挙動を示します。沈黙やノイズ中にテキストを幻覚（ハルシネーション）する一部の古い自動音声認識システムとは異なり、Cohere Transcribeは音楽、ホワイトノイズ、無音セグメントに遭遇した場合、空または最小限の出力を返します。この安定性は信号品質が劣化した条件下にも及び、意味不明な文字起こしに崩壊するのではなく、緩やかに性能が低下します。

主要な詳細

• クリアな音声の精度: モデルはLibriSpeech-cleanで1.46%のWERを達成し、トップクラスの公開リーダーボード結果と一致しました。
• 会議音声での苦戦: WERはAMI-IHM（ヘッドセットマイク）で17.74%、AMI-SDM（遠隔マイク）で29.17%まで急上昇し、全体の平均を引き上げました。
• コスト効率: 単一のH100でのセルフホスティングは、音声1時間あたり約$0.21のコストがかかり、大規模使用時にはほとんどのホスト型APIより安価です。
• 多言語のギャップ: テストハーネスが必要データセットサンプルを読み込めなかったため、独立テストでは多言語性能を検証できませんでした。
• スループットのスケール: 単一のH100は1日あたり約600時間の音声を処理でき、マルチGPU構成は容量を増やしますが、クリップごとの速度は向上しません。
• 堅牢性: モデルは沈黙やノイズ中にテキストを幻覚せず、捏造された音声の代わりに空の出力を提供します。

なぜ重要なのか

音声対応製品を開発するエンジニアリングチームにとって、マーケティング上の主張と実世界のパフォーマンスの間のギャップは重要です。アプリケーションがポッドキャストの文字起こし、口述筆記、スタジオ品質の録音に関わる場合、Cohere Transcribeは非常に優れた性能を発揮します。しかし、カンファレンスコール、会議録音、遠隔マイクを含むユースケースでは、追加の前処理なしにはエラー率が許容範囲外となる可能性があります。開発者は、セルフホスト型モデルとマネージドAPIを選択する際に、このドメイン特異性を考慮する必要があります。

コスト分析も、大量ユーザーの意思決定フレームワークを変えます。セルフホスト型インフラで音声1時間あたり約$0.21の場合、月間2,000時間以上の音声を処理する企業にとって、このモデルは経済的に実行可能になります。その閾値を下回る場合、GPUインフラ管理の運用複雑性が、DeepgramやAssemblyAIなどのホスト型ソリューションと比較した際の節約効果を上回る可能性があります。損益分岐点を理解することは、技術系創業者が計算リソースとエンジニアリング時間に予算を効果的に配分するのに役立ちます。

できること

• 主要な音声ソースを評価してください。重複する音声や遠隔マイクが含まれる場合、より高いエラー率を想定するか、音声活動検出によるチャンク分割を実装してください。
• 月間の音声ボリュームを計算し、H100でのセルフホスティングがDeepgramやAssemblyAIなどのホスト型APIよりもコスト削減になるかどうかを判断してください。
• 特に多言語サポートがコア要件である場合は、コミット前に独自のデータサンプルでモデルをテストしてください。現時点では独立した検証が欠如しています。
• 初期統合には単一GPUデプロイメントを使用してください。GPUを追加してもリクエストごとのレイテンシは改善されず、総スループットのみが増加するためです。
• 品質の静かな劣化を避けるため、処理前に入力オーディオを16 kHzモノラルにリサンプリングしてください。
• ノイズが多い環境では幻覚（ハルシネーション）を監視してください。ただし、このモデルは古いアーキテクチャと比較して堅牢性が向上しています。