NVIDIA Nemotron ASRをサウジアラビア方言向けにファインチューニング

NVIDIAのエンジニアは、Nemotron 3.5自動音声認識（ASR）モデルを、十分にカバーされていないサウジアラビアの方言に対応させるための具体的なファインチューニングワークフローについて詳細を公開しました。2026年10月に発表されたこのガイドでは、多言語ストリーミングモデルを適応させ、英語や他のアラビア語変種での性能を低下させることなく、ナジディ方言やヒジャジ方言の音声を処理する方法を示しています。このアプローチはNVIDIA NeMoフレームワークに基づいており、力技による再学習よりも慎重なデータキュレーションを重視しています。

何が起きたか

多言語ASRモデルは、事前学習データとは異なる地域方言やローカルな録音条件に対してしばしば苦戦します。Nemotron 3.5は40の言語・ロケール間の文字起こしをサポートしていますが、ナジディ方言やヒジャジ方言などのサウジアラビア方言を処理する際には大きなギャップが生じることが判明しました。これに対処するため、NVIDIAはSADA 2022データセットから133.7時間の音声データを使用したターゲット適応パイプラインを開発しました。目標は、これらの特定の方言に対する単語エラー率（WER）を下げる一方で、モダンスタンダードアラビア語および英語における既存のモデル能力を維持することでした。

チームはまず、ターゲット方言データのみでモデルをファインチューニングするベースライン実験を開始しました。この初期試行では改善幅が小さく、検証用WERは45エポック後に横ばいになりました。結果は、新しい方言のみで訓練すると、モデルが以前に学習したパターンを忘れてしまう「破滅的忘却」と呼ばれる現象が発生することを示唆していました。ターゲットとなるナジディ方言およびヒジャジ方言のテスト分割におけるベースラインWERは55.05%と高いままであり、単純なフルファインチューニングではリソースの少ない方言適応には不十分であることが示されました。

これらの制限を克服するため、エンジニアは3つの主要な変更を導入しました。それは、最小限かつ厳格なデータキュレーション、重み付きリプレイミキシング、そして期間に基づくバケット化です。また、計算コストと精度のバランスを取るために、エンコーダの部分解凍も実験しました。最終的なワークフローにより、ナジディ方言およびヒジャジ方言の音声に対するWERは29.96%まで低下し、25パーセントポイント以上の大幅な改善が達成されました。驚くべきことに、モデルの英語パフォーマンスもわずかに向上し、WERが11.04%から10.42%に低下しました。これは、適切に管理されていれば、ターゲット特化が全体的な堅牢性を高める可能性があることを証明しています。

仕組み

ソリューションの核心は、モデルが一般的な知識を上書きしてしまうのを防ぐ重み付きリプレイミキシング戦略です。サウジアラビア方言データのみで訓練する代わりに、パイプラインはFLEURSデータセットからのデータを10%混合します。これは英語7%、アラビア語3%に分割されています。これにより、モデルは新しい方言を学習しつつ、元の言語の練習を継続できます。混合は単なるファイル連結ではなく、設定重みを通じて宣言され、スライディングウィンドウシャッフルによってリプレイデータが訓練バッチ全体に均等に分散されるように保証されます。

データキュレーションは、ノイズを取り除きつつ、困難だが有効な音声を廃棄しない上で重要な役割を果たします。チームは、「不明瞭」を表すアラビア語注釈などの聞き取れないマーカーを含むクリップを除外し、非現実的な文字数対持続時間比率を持つ発話を削除しました。NVIDIA NeMo Curatorステージを使用して音声品質をスコアリングし、SADAデータセットの特定の分布に基づいてUTMOSおよびSIGMOSメトリクスのカスタム閾値を設定しました。これにより、元の発話の82.5%が保持され、汎用的なフィルターであれば拒否されていたかもしれない難しいアクセントも維持されました。

訓練効率性は、類似した長さの発話を同じバッチにグループ化する期間に基づくバケット化によって実現されます。これによりパディングとメモリ使用量が削減され、より大きな実効バッチサイズが可能になります。チームはさらに、アテンションコンテキストを13のルックアヘッドフレームに調整し、オフライン評価のためにbeam-8 MALSDデコーディングを使用しました。これにより、再学習を行うことなくWERが追加で2.71絶対ポイント低下しました。話者帰属付き文字起こしの場合は、ワークフローがNVIDIA Nemotron 3 Diarizationを統合し、最大8人の話者について話者境界とASRタイムスタンプを整列させます。

主要な詳細

• データセット: SADA 2022からの133.7時間のナジディ方言およびヒジャジ方言音声、リプレイ用に10%のFLEURSデータを混合。
• 性能向上: ターゲット方言のWERが55.05%から29.96%に低下。英語のWERが11.04%から10.42%に改善。
• ハードウェア: 実験は約4.5時間にわたり、2台のNVIDIA RTX PRO 6000 Blackwell Workstation Edition GPUで実行されました。
• モデルアーキテクチャ: プロンプト付き多言語ストリーミング機能を備えたCache-Aware FastConformer-RNNT。
• パラメータ効率性: すべての24個のエンコーダレイヤーを更新するには2億3,040万個の訓練可能パラメータが必要ですが、部分解凍はより安価な代替手段を提供します。
• デコーディング最適化: beam-8 MALSDデコーディングとより大きなアテンションコンテキストへの切り替えにより、再学習なしでWERが2.71ポイント低下しました。

なぜ重要なのか

多様な言語地域で音声インターフェースを構築するソフトウェアエンジニアにとって、このワークフローはリソースの少ない方言を扱うための再現可能なレシピを提供します。大規模な多言語モデルを特化させるために巨大なデータセットが必要ではないことを示しています。リプレイミキシングと慎重なキュレーションを使用することで、チームは事前学習済みモデルの魅力である広範な言語サポートを犠牲にすることなく、特定の地域変種に対して正確なASRを展開できます。これは、ユーザーの信頼にとってローカル方言の精度が不可欠な顧客サービス、ヘルスケア、教育などのアプリケーションにおいて特に重要です。

技術的な洞察は、モデルアーキテクチャの変更よりもデータエンジニアリングの重要性も浮き彫りにしています。顕著な性能向上は、基礎となるニューラルネットワーク構造の変更ではなく、データの混合、フィルタリング、バッチ化の方法によってもたらされました。これはAI実践者の焦点を、ノイズの多い現実世界のオーディオを処理できる堅牢なデータパイプラインの構築へとシフトさせます。アラビア語の特化を行いながら英語のパフォーマンスを向上できるという事実は、適切に管理されたファインチューニングが正則化の一形態として機能し、モデルの一般特徴を強化できる可能性を示唆しています。

やれること

• ワークフローの再現: 提供されているNVIDIA NeMo ASRファインチューニングノートブックを使用して、自分のハードウェアでサウジアラビアアラビア語適応レシピを実行してください。
• 慎重なキュレーション: 有効な方言音声を廃棄しないよう、汎用的なフィルターを適用する前にデータセット内の音声品質スコアの分布を確認してください。
• リプレイミキシングの実装: 狭いドメインでファインチューニングする場合、破滅的忘却を防ぐために少量の汎用データを混合してください。
• バケット化の有効化: パディングを減らし訓練効率を向上させるため、NeMo設定でuse_bucketingをtrueに設定してください。
• 部分解凍のテスト: 計算リソースが限られている場合、モデル全体ではなく、上位のエンコーダレイヤーとデコーダのみを解凍してみてください。
• 独立した評価: 劣化を監視するために、ターゲット方言と一般言語の両方を含むホールドアウトテストセットで常にパフォーマンスを測定してください。