Claude CodeチームがAI検証ループをスケールさせる方法
Claude Codeチームは、エージェント生成コードの大規模な検証のために、エンドツーエンドテスト、プロパティテスト、差分テストをどのように活用しているかを共有します。
英語の原文から自動翻訳されました。
AnthropicのClaude Codeチームでは、現在、コードベースの約90%をClaudeに作成・レビューさせています。2026年11月のブログ投稿で、チームはエージェントの使用を拡大しながら品質を維持するために、構造化された検証ループをどのように使用しているかについて詳細を述べました。このアプローチにより、通常は人間の監督が必要となる証拠収集プロセスを自動化することで、数十または数百のエージェントを並行して実行できるようになります。
何が起きたのか
この規模では、手動でのチェックがボトルネックとなります。チームは、自動検証がない場合、すべての出力に対して個人的な確認が必要なため、エンジニアは一度に1〜2個のエージェントしか管理できないことを発見しました。エージェントに特定のルーブリック(評価基準)に基づいて自身の作業を検証する能力を持たせることで、大規模な並列処理が可能になりました。内部テストでは、構造化ファイル生成の確認用に別の採点者(grader)を使用すると、タスクの成功率が最大10ポイント向上することが示され、特に最も難しい問題において顕著な改善が見られました。
核心的な洞察は、かつて人間にとってコストが高かった検証タスクが、エージェントにとっては安価になったということです。エージェントは、テスト、ベンチマーク、仕様書を迅速に生成できます。一度作成されると、これらの成果物は標準的なソフトウェアとして実行されるため、追加のトークンを消費することなく頻繁に実行できます。チームは、エージェントが特定のチェックを繰り返し失敗した場合に設定ファイルに明示的な制約を追加するなど、テスト結果を使用してエージェントルールを更新することで、ループを閉じています。
仕組み
チームは堅牢性を確保するために、3つの特定の種類のテストを優先しています。第一に、彼らはユニットテストよりもエンドツーエンド(E2E)テストを好みます。E2Eテストは実際のユーザーフローを記述し、欺くことが難しいからです。機能の一部が壊れていてもユニットテストがパスすることはありますが、E2Eテストは「完了」の明確な基準と、スクリーンショットなどの具体的な失敗の証拠を提供します。エージェントはCDPやシミュレーターなどのツールを使用して稼働中のシステムと対話しており、期待されるパスと結果をリストした機能マップ(feature maps)によってガイドされています。
第二に、人間やエージェントが見落としがちなエッジケースを検出するためにプロパティテストを使用します。特定の入力をテストする代わりに、プロパティテストは常に真でなければならない不変条件(round-tripエンコーディングの一貫性やアカウント残高が非負であることなど)を定義します。fast-checkやHypothesisなどのライブラリは数千のランダムな入力を生成し、これらのルールを破ろうと試みることで、エージェント生成コードに対するバイアスのないチェックを提供します。第三に、大規模な移行の場合、差分テストを採用します。これらは同じ入力を使用して旧システムと新システムの出力を比較し、逸脱があれば潜在的なバグとしてフラグを立てます。
主要な詳細
- 検証ループにより、チームは1〜2個のエージェントから、数十または数百個の並行エージェントへとスケールアップできます。
- E2Eテストは実際のユーザーフローを検証し、具体的な失敗の証拠を提供するため、優先されます。
- プロパティテストはランダムな入力生成を使用し、バイアスにかかりやすいエージェントが見逃す可能性のあるエッジケースを発見します。
- 差分テストは旧システムと新システムの出力を比較し、移行中のリグレッション(退行)を検出します。
- エージェントは、問題を人間のレビュアーにエスカレーションする前に、失敗したチェックを修正するために3ラウンド試行します。
- 検証ルールは、エージェントが変更できないブランチに保存され、エージェントが自身の採点基準を変更することを防ぎます。
なぜ重要なのか
AIエージェントを使って構築するエンジニアリングリーダーや開発者にとって、この変化は主な職務内容を「すべてのdiffを読むこと」から、「『完了』の状態を定義すること」へと変えます。強力な検証レイヤーへの投資により、チームは品質を犠牲にすることなく、より複雑なタスクをエージェントに委任できます。鍵となるのは、検証を、それが評価するまさにそのエージェントから保護し、メンテナンス、チューニング、防御が必要なシステムとして扱うことです。
このアプローチは、人間のレビュアーの認知的負荷も軽減します。バグを探す代わりに、レビュアーは高レベルのアーキテクチャや、自動化が見逃すエッジケースの処理に集中できます。新しいゲートに対して「観察モード(observe mode)」を使用するというチームの方法により、開発をブロックせずに感度を調整でき、誤検知がワークフローを混乱させることを防ぎます。自動化と人間の監督の間のこのバランスは、持続可能なAI支援開発にとって不可欠です。
あなたができること
- アプリケーションを起動し、エンドツーエンドでテストする方法を定義する
verifyスキルをリポジトリ内に作成してください。 - ユニットテストだけに頼るのではなく、重要なユーザージャーニーをカバーするE2Eテストの作成を優先してください。
- ランダムな入力生成を使用してエッジケースを検出するため、コアロジックのプロパティテストを実装してください。
- 検証ルールやレビューガイドラインを、保護されたブランチ上の
REVIEW.mdなどのファイルに保存してください。 - CIリソースを節約するために、プルリクエストを開く前にエージェントがローカルテストとリンターを実行するように設定してください。
- 元に戻された変更や失敗したテストを定期的にレビューし、再発を防ぐために検証ルールを更新してください。



