オープン&ローカルAI

エージェントハーネス内でのRLアダプター訓練により、精度向上とトークンコスト削減を実現

Hugging Faceは、LoRAアダプターをエージェントハーネス内で強化学習によって直接訓練することで、Qwen3.8-27Bのコーディングタスクにおける性能が向上し、トークン使用量が半減することを示しました。

3つの異なる機械式ギアシステムに接続されたニューラルネットワークキューブ
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Hugging Faceは、特定のエージェントハーネス内でオープンモデル向けの独自強化学習アダプターを訓練する方法を示す技術ガイドを公開しました。2026年11月に発表されたこの取り組みでは、Pi、OpenCode、Hermes Agentという3つの人気ハーネスを使用して、ソフトウェアエンジニアリングタスク向けにQwen3.8-27Bモデルの最適化を行っています。

何が起きたか

汎用大規模言語モデル(LLM)は、すべての具体的なエージェントフレームワークやタスク分布に対して完全に最適化されているわけではありません。開発者がベースモデルと特定のエージェントハーネスを組み合わせて使用する際、性能と効率の面で多くの改善余地を残してしまうことがよくあります。Hugging Faceは、カスタムタスク分布に対する強化学習を特定のエージェントハーネスと組み合わせることで、これらの正確な組み合わせにおいてモデルからより高い能力を引き出すための専用アダプターを作成し、この課題に対処しました。

チームは、各ハーネスごとにQwen3.8-27B用のLow-Rank Adaptation(LoRA)アダプターを1つずつ訓練しました。彼らはハーネス内部で強化学習を実施し、実際のエージェントインタラクション中に生成される正確なトークンからモデルが学習するようにしました。その結果、顕著な改善が見られました。例えば、Piハーネスを使用した場合のTerminal-Bench 2.1におけるQwen3.8-27Bのスコアは、pass@1で39%から55%へと大幅に上昇しました。さらに重要なのは、タスクあたりの平均トークン使用量が2.9Kから1.5Kへと減少したことです。この効率性の向上は、モデルの推論ステップの減少、ツール呼び出し回数の削減、そして初回試行での成功率向上によるものです。

再現性を確保するため、Hugging Faceは完全に再利用可能なレシピを共有しました。すべてのデータセット、訓練設定、およびエージェントロールアウトは、Hub上のJobs、TRLのAsyncGRPOTrainer、OpenEnv、Harborを使用して実行されました。アダプターやGGUFファイルを含む最終的な成果物はパブリックコレクションとして提供されており、エンジニアが同じ手法を自身のタスクやハーネスに応用できるようになっています。

仕組み

核心的なイノベーションは、エージェントループの再実装ではなく、エージェントハーネスの内部でモデルを訓練する点にあります。ほとんどの強化学習フレームワークでは、エージェントをフレームワーク独自のインターフェースに合わせて記述する必要があり、これにより訓練時とデプロイ時の間に差異が生じる可能性があります。このアプローチでは、ハーネスは出荷時の状態のまま正確に動作します。プロキシがハーネスとvLLMサーバーの間に配置され、モデルによって生成された正確なトークンを記録します。その後、トレーナーはこれらの現実世界のインタラクションから学習し、アダプターがそのハーネス固有の挙動や出力形式に対して最適化されるようにします。

データの品質は、厳格なパイプラインを通じて保証されました。チームはSWE-smith、SWE-Gym、Tasksmithからのタスクを組み合わせた後、openenv validateを使用してフィルタリングを行いました。このツールは意味的な正しさをチェックし、参照ソリューションが最大報酬を獲得すること、また何も行動しない場合のスコアが低くなることを確認します。さらに難易度チェックも実施し、ベースモデルが「時々解けるが常に解けるわけではない」タスクのみを保持しました。この「適格な」タスクセットは、Group Relative Policy Optimization(GRPO)に必要な学習シグナルを提供します。なぜなら、常に簡単すぎるタスクや難しすぎるタスクは、改善のための勾配を生み出さないからです。

訓練にはTRLのAsyncGRPOTrainerが使用されました。これは、すべてのロールアウトが完了するのを待たずに次の最適化ステップへ進むことができます。この非同期アプローチにより、NVIDIA B200 GPU上でのハードウェア利用率が最大化されました。最終的な報酬関数は、検証器による正しさの評価と、わずかなツール効率ボーナスを組み合わせたもので、モデルがより少ないステップで問題を解決することを促します。安全性はsafeagentsプラグインを使用して維持され、訓練中の不正な挙動をブロックしました。モデルが改善するにつれて、ブロックされた呼び出しの数は一貫して減少しました。

主要な詳細

  • モデルとハーネス: この研究では、Pi 1.5.2、OpenCode 2.2.7、Hermes Agent v0.22.6向けに適応させたQwen3.8-27Bに焦点を当てました。
  • 性能向上: Piハーネス向けのアダプターにより、Terminal-Bench 2.1のスコアがpass@1で39%から55%へ向上しました。
  • 効率性改善: タスクあたりの平均トークン使用量は、推論ステップとツール呼び出しの削減により、2.9Kから1.5Kへ減少しました。
  • 訓練手法: TRLのAsyncGRPOTrainerとOpenEnvを使用してハーネス内で強化学習を実施し、プロキシが実際のトークン出力を捕捉しました。
  • データパイプライン: SWE-smith、SWE-Gym、Tasksmithから871件のタスクを選別し、有効性と適切な難易度でフィルタリングして、効果的なGRPO訓練を確保しました。
  • スーパーアダプター: 3つの個別のLoRAアダプターをランク96の単一のスーパーアダプターに統合しました。重み更新間のコサイン類似度が低いため、3つのすべてのハーネスで高い精度が維持されています。

なぜ重要なのか

AIエージェントを構築するエンジニアにとって、このアプローチは運用コストの大幅な削減と信頼性の向上への道を開きます。トークン使用量をほぼ半分に減らすことで、組織は高額な推論請求を気にすることなく、Qwen3.8-27Bのような高性能なモデルを展開できます。初回試行での成功率向上はレイテンシも低減し、コーディングアシスタントや自律型エージェントにおけるユーザー体験をよりスムーズにします。これは特に、クローズドソースの代替品と効率性で競う必要があるオープンモデルを使用しているチームにとって関連性が高いです。

この方法論は、オープンモデルを特定のツール環境に整合させるプロセスを明確にするものでもあります。再利用可能なレシピを提供し、成果物をオープンソース化することで、Hugging Faceはカスタムモデル最適化への参入障壁を下げています。開発者はもはや汎用的なファインチューニングだけに頼る必要はなく、データ分析、コードビルド、複雑なソフトウェアエンジニアリングワークフローなど、自身の特定のスタックに合わせてモデルを調整できるようになりました。このハーネス特化型の最適化へのシフトは、本番グレードのAIエージェントにおける標準的なプラクティスとなる可能性があります。

できること

  • Hugging Faceコレクションを探索し、訓練済みアダプター、GGUF、RLタスクを確認して、成果物の構造を理解してください。
  • ハーネス(Pi、OpenCode、Hermes)がプリインストールされたDockerイメージを使用し、ローカルまたはHub上で訓練環境を再現してください。
  • openenv validateツールを独自のカスタムタスクに適用し、訓練前に意味的な正しさと適切な難易度でフィルタリングしてください。
  • ワークフローにTRLのAsyncGRPOTrainerを実装し、非同期ロールアウト処理を有効にして、マルチGPUセットアップでの訓練効率を向上させてください。
  • 複数のエージェントフレームワークをサポートしている場合は、直交する重み更新間の干渉が少ないことを活用し、複数のハーネス特化型LoRAアダプターを統合することを検討してください。
  • カスタムの正規表現やパターンルールとともにsafeagentsプラグインを統合し、強化学習フェーズ中のモデルの不正な挙動を防いでください。
  • #reinforcement learning
  • #agent harnesses
  • #llm optimization
  • #hugging face
  • #qwen
  • #lora

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事