学習したメモリが、ファインチューニングなしでエージェントの信頼性を向上

ALTK-Evolveという新しいアプローチにより、ソフトウェアエージェントがモデルの重みを更新することなく、複雑なカスタマーサービスのベンチマークでトップクラスの性能を達成できることが実証されました。この手法では、行動ガイドラインを自動的に生成してシステムプロンプトに追加することで、GPT-4.1などの既存モデルが、2026年10月時点のτ²-bench小売リーダーボードにおいて、専門的にファインチューニングされたシステムを上回る結果を出しています。

何が起きたか

研究者たちは、エージェントが自身の過去の成功と失敗を分析し、短く実行可能なルールセットを作成する技術をテストしました。これらのルールは、将来のインタラクションのためにエージェントのシステムプロンプトに追加されます。この手法をGPT-4.1で使用した場合、基本的なReActエージェントはτ²-benchの小売ドメインでPass^4スコア67.5%を達成しました。この指標は、ケースの67.5%において、エージェントが4回の独立した試行すべてでタスクを正しく解決したことを示しています。この結果は、2026年10月12日のリーダーボードスナップショットにおける他のすべての小売エントリー、すなわちこのベンチマーク用に合成データで特別にファインチューニングされたモデルRAFT-30B-A3Bをも上回りました。

評価には、現実的なカスタマーサービスシナリオをシミュレートするτ²-benchフレームワークが使用されました。これらのテストでは、エージェントは特定の目標と制約を持つLLMシミュレーション顧客と対話します。エージェントは、注文の照会や返金の発行などのドメインツールを使用しつつ、書かれたポリシー文書を厳格に遵守しなければなりません。成功は、最終的なデータベース状態が期待される結果と一致するかどうかによって決定され、部分点を許さない厳格なバイナリ報酬となります。研究者たちは、この手法を小売および航空会社の両ドメインに適用し、基盤となるエージェントモデルとしてGPT-4.1とGPT-5.5を使用しました。

このプロセスには、人間の注釈付けや重み更新は必要ありません。エージェントを支える同じモデルが、訓練軌跡からガイドラインを抽出します。例えば、エージェントがアクションを実行する前にユーザー認証を頻繁に忘れる場合、まず認証を要求するルールが生成されます。これらのガイドラインはプレーンなMarkdownリストに蒸留され、システムプロンプトに追加されます。本研究では、このアプローチが異なるモデルサイズとドメイン全体で平均精度と信頼性の両方を改善することが判明し、プロンプトレベルのメモリがファインチューニングの利点に対抗したり、それを上回ったりできることが証明されました。

仕組み

ALTK-Evolveは、エージェントを一連の訓練タスクで実行し、その結果得られる軌跡を分析することで機能します。成功と失敗のパターンを識別し、それらを簡潔な行動ルールに蒸留します。例えば、「データベースを更新するアクションを実行する前に、意図したすべての変更を明確なサマリーで確認すること」といったルールが挙げられます。これらのガイドラインにはサポートカウントが割り当てられ、いくつの異なる訓練タスクがその作成に貢献したかを反映します。サポート数が高いほど、ルールがより汎用的であることを示唆します。

推論時、これらのガイドラインはドメインポリシーとともにシステムプロンプトに注入されます。研究者たちは3つの構成をテストしました。ガイドラインなしのベースライン、サポート数が3以上の高信頼度ルールのみを保持する「sup3」構成、そして保持されたすべてのガイドラインを含む「lossless（非損失）」構成です。その後、エージェントはTHINK → ACTループ中にこれらの指示に従います。ガイドラインはプロンプトの一部であるため、内部の重みを変更することなくモデルの推論に影響を与えます。これにより、同じベースモデルがガイドラインセットを交換するだけで、異なるドメインに適応することが可能になります。

主要な詳細

• 性能向上: losslessガイドラインを適用したGPT-4.1は、小売タスクで67.5%のPass^4を達成し、ベースライン比で10ポイント増加しました。
• コストへの影響: プロンプトが長くなったため、小売タスクの入力トークンコストは最大65%増加しましたが、会話ターン数はわずかに減少し、レイテンシが低下しました。
• ドメイン特化性: 小売タスクでは292件のガイドラインからなる完全なlosslessセットから最も恩恵を受けましたが、航空会社タスクでは、サポート数の高い14件のコアルールによるコンパクトなセットの方が信頼性が高まりました。
• フロンティアモデルの強化: 同じ技術をGPT-5.5に適用すると、航空会社Pass^4スコアが55.0%から70.0%に上昇し、この手法がモデル能力に応じてスケールすることが示されました。
• ファインチューニング不要: このアプローチは完全にプロンプトエンジニアリングと自己反省に依存しており、重み更新に伴う計算コストの高さや脆さを回避しています。
• 厳格なメトリクス: Pass^4は、各タスクで4回の試行すべてでの成功を要求することで信頼性を測定し、エージェントが一時的に正しいだけでなく、一貫していることを保証します。

なぜ重要なのか

本番環境のエージェントを構築するエンジニアにとって、この研究はファインチューニングの実用的な代替案を示しています。ファインチューニングはしばしば高コストであり、大規模なデータセットを必要とし、破滅的忘却（catastrophic forgetting）や新ドメインへの転移不良を引き起こす可能性があります。ALTK-Evolveは、プロンプト拡張を通じてモデル自身の経験を活用することで、同等またはそれ以上の結果を達成できることを実証しています。これは、ルール遵守が極めて重要でエラーのコストが高いカスタマーサービスやヘルスケアなどのドメインで特に価値があります。

コストと性能のトレードオフも有利です。大きなプロンプトは入力トークン使用量を増加させますが、会話ターン数の減少によりエンドツーエンドのレイテンシが低減されます。実際の運用環境では、ガイドラインブロックが呼び出し間で静的であるため、プロンプトキャッシュが入力コストを緩和できます。これにより、チームは限界利益を得るために最新のフロンティアモデルを追いかけるのではなく、GPT-4.1のような古くて安価なモデルを使用して、より信頼性の高いエージェントを展開できるようになります。

実践できること

• エージェントが成功と失敗の軌跡を記録し、分析できるようにフィードバックループを実装してください。
• LLMを使用してこれらのログを、Markdownリスト形式の簡潔で実行可能なガイドラインに蒸留してください。
• これらのガイドラインをシステムプロンプトに追加し、サポートカウントによるフィルタリングを試行錯誤して、簡潔さとカバレッジのバランスを取ってください。
• 平均精度だけでなく、Pass^Nのような厳格なメトリクスを使用して信頼性を測定し、一貫したパフォーマンスを保証してください。
• トークンコストと会話長を監視し、精度の向上が過度なレイテンシを犠牲にしていないことを確認してください。
• 異なるドメインでこのアプローチをテストし、各具体的なユースケースに対して最適なガイドライン密度を決定してください。