NVIDIA、プロンプト対応音声処理向けオープンウェイトモデル「Nemotron 3.5 Transcribe」を公開

NVIDIAは、文字起こし、話者帰属、翻訳を単一のチェックポイントに統合したオープンウェイト音声モデル「Nemotron 3.5 Transcribe」をリリースしました。現在Hugging FaceおよびModelScopeで利用可能であり、このモデルは40言語での文字起こしをサポートし、開発者が自然言語のプロンプトを使用して出力を制御できるようにしています。今回のリリースは、ローカル環境またはデータセンターでスケーラブルに動作する、カスタマイズ可能な高精度音声処理への大きな一歩を示すものです。

何が起きたか

新しいモデルは最大1時間の録音データを処理でき、13言語で最大8人の異なる声を識別して話者をラベル付けできます。また、31言語から英語へ、または英語から31言語への翻訳に対応しており、音声質問応答もサポートしていますが、後者は主に英語で訓練されています。開発者は自然言語による指示を用いて出力形式を指定でき、例えば話者ラベル、翻訳、医療用語などのドメイン固有の専門用語に対する特定のフォーマットを要求することが可能です。

Nemotron 3.5 Transcribeは、オープンウェイトモデルの中で英語の平均単語誤り率（WER）5.33%を達成し、Hugging Face Open ASR Leaderboardで首位を獲得しています。さらに、David AIの21言語話者分離リーダーボードでも1位、VoiceArenaの14システム比較における話者帰属でもトップに立っています。これらのベンチマークは、1940年の映画『His Girl Friday』のシーンを用いたテストで実証されたように、重なる会話や早口の音声に対処できる同モデルの能力を際立たせています。

モデルと同時に、NVIDIAはTranscribeの訓練に使用された多言語データキュレーションパイプライン「Granary v2」も公開しました。Granary v2は、整合性のある文字起こしバリエーションや品質メタデータの生成など、音声データの準備に関する再利用可能なツールを提供します。公開されているマニフェストには48言語にわたる463,062時間分のオーディオが含まれており、開発者が独自の特化型音声データセットを構築するための基盤を提供します。

仕組み

Transcribeは、音声エンコーダとMamba–Transformer混合エキスパート（MoE）言語モデルを組み合わせたハイブリッドアーキテクチャを採用しています。この設計により、300億パラメータのうちトークンごとにアクティブになるのは約40億パラメータのみとなり、精度とアクティブパラメータ数のトレードオフにおいて最先端の位置にあります。Sortformerを通じて話者の手がかりが生成プロセスに直接統合されており、モデルは別個の後処理ステップに依存せず、文字起こしの最中に話者をタグ付けすることができます。

ドメイン適応のため、NVIDIAはNeMo Speechファインチューニングツールを提供しています。医療分野でのケーススタディでは、プロンプトのみを使用した場合と比較して、ファインチューニングにより保留中の話者に対する単語誤り率が45.8%減少することが示されました。このプロセスには、「HbA1c」のようなテキストターゲットを話し言葉に変換するなど、合成音声の生成とLoRAアダプターを用いたモデル訓練が含まれます。これにより、システム全体を再訓練することなく、特定の語彙やフォーマット規則を学習させることが可能になります。

Granary v2は、各録音に対して3種類の文字起こし形式（テキスト正規化された逐語録、言い淀みを含む逆テキスト正規化、クリーンな逆テキスト正規化）を生成することで、このワークフローをサポートします。開発者はこれらのバリエーションを利用して、数字、単位、フィラーワード（間投詞など）をモデルがどのように扱うかを正確に定義できます。パイプラインは低品質なオーディオをフィルタリングし、訓練データが高忠実度の基準を満たすことを保証します。

主要な詳細

• 40言語での文字起こしと、31言語から英語へ、または英語から31言語への翻訳に対応。
• 英語で平均WER 5.33%を達成し、Hugging Faceリーダーボード上のオープンウェイトモデル中トップ。
• 最大1時間の録音において、低い話者分離エラー率で最大8人の話者を識別。
• 混合エキスパートアーキテクチャにより、トークンあたり約40億のアクティブパラメータを使用。
• Granary v2データセットマニフェストには、48言語にわたる463,062時間分のオーディオが含まれる。
• RTXおよびJetsonハードウェアでのローカルデプロイ用量子化バージョンは近日提供予定。

なぜ重要なのか

音声対応アプリケーションを開発するエンジニアにとって、モデルに対して特定の出力形式をプロンプトで指示できる機能は、複雑な後処理スクリプトの必要性を軽減します。カスタムの正規表現ルールを書いて文字起こしを整理したり話者を分離したりする代わりに、開発者はモデルに必要な正確なフォーマットを生成させるよう指示できます。この柔軟性は、標準的な文字起こしが失敗しやすい医療や法律などの分野におけるドメイン固有の専門用語を処理する上で極めて重要です。

モデルのオープンウェイト特性は、データプライバシーの問題にも対処します。組織はTranscribeを自社のインフラ上でローカル実行し、機密性の高い音声データを安全な環境内に保持できます。消費者向けおよびエッジハードウェア用の量子化バージョンが登場すれば、サードパーティAPIに依存せずに高品質な音声処理が可能になります。この変化により、チームはより堅牢でプライベートな音声ソリューションを構築できるようになります。

できること

• Hugging FaceまたはModelScopeからNemotron 3.5 Transcribeチェックポイントをダウンロードし、ローカルでテストしてください。
• 提供される自然言語プロンプトを使用して、異なる出力形式や話者ラベリングを試行錯誤してください。
• Granary v2マニフェストを探索し、高品質な音声訓練データの構造を理解してください。
• NeMo Speechファインチューニングガイドに従い、モデルを特定のドメイン語彙に適応させてください。
• 本番環境での高スループット推論のために、vLLMまたはSGLang-Omniを使用してモデルをデプロイしてください。
• 独自の音声サンプルでモデルを評価し、ドメイン適応が必要となる領域を特定してください。