AIで開発する

Nemotron 3.5 Super VLの科学分野での精度向上に向けた強化学習によるポストトレーニング

NVIDIAは、強化学習と蒸留を用いてNemotron 3.5 Super VLをカスタマイズするためのレシピを公開し、薬物代謝予測の精度を29%向上させました。

分子構造とコードを用いた科学AIモデリングのイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

NVIDIAは、オープンなマルチモーダルモデルであるNemotron 3.5 Super VLを専門的な科学ワークフロー向けにカスタマイズする方法について詳述した技術ガイドを公開しました。2026年11月16日にリリースされたこのガイドでは、研究者が計算化学などの分野でモデルの精度を大幅に向上させるために、強化学習と知識蒸留を活用できることを示しています。

このアプローチは、複雑な科学タスクを計画し実行するエージェント型AIシステムを対象としており、自律的な反復処理においてエラーが急速に蓄積される研究環境において、より高い精度と低いレイテンシという重要なニーズに対応しています。

何が起きたか

NVIDIA Technical Blogは、科学ベンチマーク用に設計されたオープンかつカスタマイズ可能なマルチモーダルモデルであるNemotron 3.5 Super VLのポストトレーニングに関する実践的なレシピを紹介しました。このガイドは、実験データからカスタムの強化学習環境を構築することで、特定の研究ドメイン向けにモデルを適応させることに焦点を当てています。このプロセスでは、環境インフラストラクチャのためにNVIDIA NeMo Gymを、ポストトレーニングフレームワークのためにNVIDIA NeMo RLを利用します。

手法を検証するために、チームは薬物代謝予測をケーススタディとして使用しました。彼らは、実験的に確認された生体変換反応のデータベースであるMetxBioDBの記録を利用しました。目標は、親化合物とその変換酵素が与えられた場合に、生成される代謝物を予測することでした。結果は、教師ありファインチューニングにより精度が12%向上し、その後の強化学習ポストトレーニングによって、16,384トークンの出力予算でさらに17%向上したことを示しました。

ガイドではまた、分子特性において大規模言語モデル(LLM)とエージェント型AIを訓練・評価するために設計されたオープンソースのデータセットおよびベンチマークである「Nemotron RL Litmus-Bench V2.0」も紹介されています。このベンチマークは、より長く、複雑で、視覚的な科学ワークフローをより高い信頼性で処理できるモデルの開発をサポートします。

仕組み

コアメカニズムには、検証可能な報酬を用いた強化学習(RLVR)環境の作成が含まれます。研究者はまず、分子構造を記述するSimplified Molecular Input Line Entry System (SMILES)文字列など、実験記録を含むCSVファイルから始めます。これらの入力-出力ペアは、実験的な正解データを検証者として機能するプロンプト-レスポンス形式に再フォーマットされます。この設定により、報酬信号がデータから直接導出されるため、人間の好みによるラベリングが必要なくなります。

薬物代謝の例では、モデルは親分子と酵素を受け取り、代謝物を予測します。検証者は、Tanimoto類似度(2つの集合間の重複を測定する指標)を使用して、予測された分子指紋を参照データと比較します。スコアは0から1の範囲であり、値が高いほど構造的な類似性が高いことを示します。この密な報酬信号は、低ランクアダプター(LoRA)を用いたグループ相対ポリシー最適化(GRPO)を通じて、訓練中にモデルをガイドします。

オプションの蒸留ステップは、収束を加速するために強化学習の前に実施できます。Claude Sonnet 5.5などの強力な教師モデルが、同じタスクに対して高品質な推論トレースを生成します。これらのトレースは正確性に基づいてフィルタリングされ、教師の論理が正しい予測につながるもののみが保持されます。この「ウォームスタート」は学生モデルにより良い開始点を提供し、その後のRL訓練をより効率的にし、強力なポリシーを見つける可能性を高めます。

主要な詳細

  • Nemotron 3.5 Super VLは、科学コーディングとベンチマーク用に最適化された、オープンでカスタマイズ可能なマルチモーダルモデルです。
  • 教師ありファインチューニングにより精度が12%向上し、強化学習によって薬物代謝予測でさらに17%の向上が加わりました。
  • Nemotron RL Litmus-Bench V2.0データセットは、分子特性においてLLMとエージェント型AIを評価します。
  • 蒸留ではClaude Sonnet 5.5を使用して推論トレースを生成し、1,934のプロンプトから1,123の高品質な例をフィルタリングします。
  • RL環境では、人間のラベリングなしで正解データに対する予測をスコアリングするためにTanimoto類似度を使用します。
  • 訓練はGRPOとLoRAを利用しており、環境作成にはNeMo Gym、ポストトレーニングにはNeMo RLがサポートされています。

なぜ重要なのか

科学用AIエージェントを開発するエンジニアにとって、このガイドは自律ワークフローにおけるエラー伝播を削減するための具体的な道筋を提供します。エージェントがより長く複雑なタスクを引き受けるにつれ、初期段階での小さな不正確さが後々の重大な失敗につながる可能性があります。検証可能な報酬を用いてドメイン固有のデータでモデルをポストトレーニングすることで、開発者は分子構造や反応結果などの重要な予測において、より高い忠実性を確保できます。

Nemotron 3.5 Super VLのようなオープンモデルをカスタマイズできる能力は、コストとレイテンシの懸念にも対応します。フロンティアレベルの精度は通常、実行に高額な巨大な閉じたモデルと関連付けられています。このレシピにより、チームはカスタマイズ可能なモデルで専門的なタスクにおいて同等のパフォーマンスを達成でき、科学コーディングタスクにおける推論コストの削減と解決までの時間短縮が可能になるかもしれません。

さらに、より強力な教師モデルからの蒸留を含めることは、強化学習におけるコールドスタート問題を克服するための戦略を提供します。ベースモデルが十分な能力を持たない場合や、RLの収束が遅い場合、高品質な推論トレースによるウォームスタートは性能の下限を引き上げることができます。これにより、データが希少または生成コストが高いドメインにおいて、訓練プロセスがより堅牢かつアクセスしやすくなります。

できること

  • NeMo Gymリポジトリを探索し、独自の実験データからカスタムRL環境を構築してください。
  • NeMo RLリポジトリを使用して、特定の科学モデルに強化学習ポストトレーニングを適用してください。
  • 提供されているレシピを実装し、ケモインフォマティクスライブラリや分子シミュレーターなどのツールを使用して検証層を作成してください。
  • RL訓練を開始する前に、より強力な教師モデルからの蒸留を利用して高品質な推論トレースを生成することを検討してください。
  • Nemotron RL Litmus-Bench V2.0を使用してカスタマイズされたモデルを評価し、分子特性におけるパフォーマンスをベンチマークしてください。
  • CSVからJSONLへのスクリプトを変換し、NeMo Gym環境で使用するためにドメイン固有のデータをフォーマットしてください。
  • #nvidia
  • #reinforcement learning
  • #scientific ai
  • #nemotron
  • #post-training

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事