Nvidia、プロンプト対応の Nemotron 3.5 Transcribe モデルをリリース

Nvidia は、録音音声向けに設計された新しいオープンウェイトの自動音声認識（ASR）モデル「Nemotron 3.5 Transcribe」をリリースしました。2026年10月28日に公開されたこのモデルは、開発者が音声ファイルを処理する前に具体的な指示を与えることを可能にします。現在、英語における Hugging Face Open ASR リーダーボードで首位を獲得しており、単語誤り率（WER）は 5.33% です。

何が起きたか

今回のリリースの中核的な革新は、モデルがプロンプトを受け付ける能力です。単に音をテキストに変換する従来の文字起こしエンジンとは異なり、Nemotron 3.5 Transcribe はユーザーがあらかじめコンテキストを設定できます。例えば、開発者は音声ファイルが英語の医療議論を含み、専門用語リストを提供していることを指定できます。モデルはこのコンテキストを活用してエラーを減らし、関連性を高めます。

ユーザーはまた、出力フォーマットについてもモデルに指示を出すことができます。個々の話者をラベル付けする、逐語的な文字起こしか整理されたバージョンかを指定する、またはテキスト内の数字の見え方を定義するなどのリクエストが可能です。Nvidia は翻訳機能を含むこれらの機能を単一のチェックポイントに統合しています。これにより、複数の音声処理タスクを必要とするアプリケーション向けのアーキテクチャが簡素化されることを目指しています。

このモデルは40言語の文字起こしをサポートし、そのうち31言語について英語との間の翻訳が可能です。誰が話しているかを識別する話者帰属（Speaker attribution）は13言語で動作し、最大8人の異なる声を区別できます。ただし、Audio Question and Answering 機能は英語のみで訓練されています。システムは最大1時間の録音に対応しますが、ライブストリーミング音声には対応していません。

仕組み

Nemotron 3.5 Transcribe は、300億パラメータを持つ Mixture-of-Experts（MoE）モデルです。このアーキテクチャでは、特定の入力に対して総パラメータの一部のみがアクティブになります。本モデルの場合、アクティブなパラメータ数は40億です。この設計により、推論時の計算需要を抑えつつ、より大規模なモデルに匹敵する精度を実現しています。例えば、Artificial Analysis のベンチマークでは 2.81% の単語誤り率を達成しており、これはアクティブパラメータ数240億の Mistral の Voxtral Small と同等の水準です。

開発者は vLLM を使用してモデルをデプロイするか、NeMo-Speech.cpp を使ってローカルで実行できます。Nvidia によれば、このモデルは単一の GPU で動作し、Jetson AGX Thor や DGX Spark から Blackwell データセンター GPU までのハードウェアをサポートします。OpenMDW-1.1 ライセンスに基づくオープンウェイトモデルであるため、ユーザーは特定ドメイン向けにファインチューニングを行うことができます。Nvidia が報告したところによると、医療文字起こし向けにファインチューニングを行った結果、保持データ（held-out speakers）での単語誤り率が 22.44% から 12.17% に低下し、相対的に 45.8% の削減が実現されました。この適応には、単一の GB300 ユニットで約14 GPU 時間が必要でした。

カスタマイズを支援するため、Nvidia は NeMo Curator で構築されたデータキュレーションパイプライン「Granary v2」も同時にリリースしています。このツールには、48言語および16のソースコーパスにわたる約463,062時間のオーディオをカバーする公開マニフェストが含まれています。開発者はこのパイプラインを使用して、ファインチューニング用に自身の録音を準備できますが、これらの数値はベースモデルの完全な訓練ミックスではなく、データセットリリースを表しています。

主要な詳細

• モデルアーキテクチャ: アクティブパラメータ40億を持つ300億パラメータの Mixture-of-Experts。
• パフォーマンス: 単語誤り率 5.33% で、Hugging Face Open ASR リーダーボードの英語部門でトップランク。
• 言語サポート: 40言語の文字起こし；31言語について英語との間の翻訳。
• 話者処理: 13言語で話者を帰属させ、最大8人の声を区別。
• デプロイメント: vLLM または NeMo-Speech.cpp を使用して単一 GPU で実行；Jetson AGX Thor から Blackwell GPU までサポート。
• ライセンス: OpenMDW-1.1 に基づくオープンウェイトであり、ファインチューニングおよび商用利用が可能。

なぜ重要か

音声対応アプリケーションを開発するソフトウェアエンジニアにとって、文字起こしモデルにプロンプトを与えられる能力は、複雑な後処理スクリプトの必要性を低減します。従来、開発者は文字起こしのクリーンアップ、数字のフォーマット、話者の識別のために個別のシステムを構築する必要がありました。これらのタスクをモデル内でプロンプトを通じて処理することで、開発ワークフローはよりシンプルかつ保守しやすくなります。単一チェックポイントのアプローチは、複数の特化型モデルを管理することによるインフラオーバーヘッドも軽減します。

このモデルのオープンウェイト特性は、ヘルスケアや金融など厳格なデータプライバシー要件を持つ業界にとって重要です。組織は機密性の高い音声をサードパーティ API に送信することなく、プライベートデータ上でモデルをファインチューニングできます。ファインチューニング後のエラー率削減に関する報告は、ドメイン固有の適応が有効であることを示しており、ゼロからの訓練に必要な膨大な計算リソースを要さずに、専門的なユースケースに対する高精度な文字起こしへのアクセスを可能にします。

できること

• OpenMDW-1.1 ライセンスの下、Hugging Face から Nemotron 3.5 Transcribe の重みをダウンロードしてください。
• 互換性のある単一 GPU ハードウェア上で NeMo-Speech.cpp を使用してモデルをローカルでテストしてください。
• Granary v2 パイプラインを使用して、ファインチューニング用に独自のオーディオデータセットをキュレーション・準備してください。
• プロンプトエンジニアリングを実験し、特定のドメイン向けのコンテキスト、話者ラベル、出力フォーマットを定義してください。
• Audio Q&A は現在英語のみであることに注意しつつ、ターゲット言語でのモデルのパフォーマンスを評価してください。
• 医学や法律などの専門分野で作業している場合、単語誤り率を大幅に削減するためにファインチューニングを検討してください。