オープン&ローカルAI

Nvidia、特化型強化学習でNemotronのコーディングスコアを向上

Nvidiaは2万件の合成学習データとPivotRLを用いて、Nemotron 3 Ultraのエージェント型コーディング能力を改善し、Terminal-Benchスコアを大幅に引き上げました。

ターゲットを絞ったツールを用いたAIモデル修復の概念図。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Nvidiaは、特定のエージェント失敗事例を狙い撃ちにした小規模かつ高品質なデータセットを使用することで、オープンウェイトAIモデルのコーディング性能を大幅に向上させました。Factory社が提供する専用ハーネスを利用し、チームは約2万件の学習例を生成して、2026年6月にリリースされた5,500億パラメータを持つモデル「Nemotron 3 Ultra」を改良しました。この集中的なポストトレーニングにより、エージェント型コーディングタスクにおけるベンチマークスコアが顕著に上昇しました。

何が起きたか

Nvidiaは、Nemotron 3 Ultraが複雑なコーディング指示を処理する際に生じる反復的な問題に対処するため、Factory社と協力しました。チームは、Factory社のDroidコーディングエージェント・ハーネスをエアギャップネットワーク内に展開し、再現可能な失敗事例を計測・捕捉しました。これらの失敗は主に、マルチステップタスクにおける指示遵守、ツール呼び出し、エラー回復に関するものでした。こうした具体的な障害を分離することで、Nvidiaは広範で未フィルタのデータに頼る代わりに、モデル改善のためのターゲットを絞ったデータセットを作成できました。

同社は、この新しいデータセットに対して「PivotRL」と呼ばれる強化学習手法を適用しました。2026年3月に導入されたPivotRLは、既存の教師ありファインチューニング軌道内の重要な意思決定においてモデルを訓練します。このアプローチにより、フルマルチターンロールアウトに伴う高い計算コストを回避しつつ、意思決定の精度を向上させることができます。Nvidiaはこの技術適用後に更新されたモデルチェックポイントをFactory社に戻して評価を行い、実際のエージェントシナリオでの改善が測定可能であることを確認しました。

モデルが特定のテスト環境に過剰適合(オーバーフィッティング)することを防ぐため、NvidiaはDroidの設定を変え、他の複数のエージェント環境からのデータを組み込みました。最終的な学習パイプラインは、検証可能な報酬を用いた強化学習、人間のフィードバック、そしてマルチティーチャーオンポリシー蒸留を組み合わせたものです。この多段階プロセスにより、異なる技術領域で訓練された教師モデルの能力が、学生モデルであるNemotron 3 Ultraへ効果的に転移されました。

仕組み

PivotRLは、行動が参照例との類似性ではなく、その結果(アウトカム)に焦点を当てる点で標準的な強化学習とは異なります。従来の教師ありファインチューニングでは、出力がゴールデンアンサーと完全に一致しない場合、モデルはペナルティを受けます。一方、PivotRLは、複数の有効な経路が存在し得るエージェント型タスクにおいて重要となる、意図した目標を達成できたかどうかを評価します。この手法は、エンドツーエンドの強化学習と比較できる精度を実現しながらも、必要なロールアウトターン数は4分の1で済み、はるかに効率的でした。

学習プロセスでは、マルチティーチャーオンポリシー蒸留も活用されました。この技術は、複数の専門的な教師モデルから知識を単一の学生モデルへ転移させます。多様な技術領域で訓練されたモデルからの洞察をブレンドすることで、NvidiaはNemotron 3 Ultraが異なる種類のコーディングタスク全般にわたってより汎化能力を持つことを保証しました。同社は、強化学習のブレンドおよびGB200 NVL72ハードウェア上でパイプラインを再現するための手順を公開しており、他者が結果を検証できるようにしています。

主要な詳細

  • NvidiaはFactory社のDroidハーネスを使用して、約2万行のポストトレーニングデータを生成しました。
  • Nemotron 3 UltraのTerminal-Bench 2.0スコアは、ポストトレーニング後38.5%から49%へ上昇しました。
  • Nemotron 3.5 Super VLの予備チェックポイントは、Terminal-Bench 2.1で52.11%から60.4%へ改善されました。
  • PivotRLは、4つのエージェントドメインにおいて、標準的な教師ありファインチューニング平均4.17%を上回りました。
  • 学習パイプラインには、OpenCode、Codex、およびagent006として識別される環境からのデータが含まれていました。
  • Factory社は、ベンチマーク向上に対する自社の具体的な貢献を分離するアブレーションスタディを公表していません。

なぜ重要なのか

AIエージェントを開発するエンジニアにとって、このケースはデータ量を拡大してもデータ品質を向上させなければ効果が逓減することを示しています。Nvidiaは、モデルに数十億もの汎用的なトークンを投入する代わりに、特定の失敗モードを狙った慎重にキュレーションされた2万件のサンプルセットでも、大きな性能向上が得られることを実証しました。これは、今後のエージェント型AIの改善が、力技による事前学習よりも、精密なエラー分析とターゲットを絞った強化学習に依存するようになることを示唆しています。

また、この結果は、モデルの挙動を形作る上で評価ハーネスがどれほど重要であるかを浮き彫りにします。性能向上は、訓練およびテストに使用された特定の環境と密接に関連していました。GoogleのGemini 4 Neonが自社開発のAntigravityハーネス内でより良いパフォーマンスを示したように、モデルは特定のテストフレームワーク向けに最適化されることがあります。開発者はベンチマークスコアを解釈する際、それが一般的な能力向上ではなく、ハーネス固有の適応を反映している可能性があるため注意が必要です。

実践できること

  • エージェントワークフローに計装を導入し、ツール呼び出しやエラー回復における再現可能な失敗を捕捉してください。
  • 評価で特定された弱点を狙った、小規模かつ高品質なデータセット作成を優先してください。
  • エージェント型タスクでは、厳格な参照マッチングの代わりに、PivotRLのような結果ベースの報酬メカニズムの使用を検討してください。
  • モデルが単一のテストハーネスに過剰適合することを防ぐため、評価環境を変えてください。
  • ドメイン特化型モデルから汎用エージェントへ専門的な能力を転移するために、マルチティーチャー蒸留を検討してください。
  • 公開されている強化学習のブレンドやパイプラインを確認し、異なるポストトレーニング手法間のトレードオフを理解してください。
  • #nvidia
  • #reinforcement learning
  • #ai agents
  • #nemotron
  • #coding models

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事