AIで開発する

Anthropic、AI生成コードの変更に対する自動レビューパイプラインを公開

Anthropicは、Claude Codeチームが手動によるエンジニアリングレビューを毎回行わずに、AIが作成したコードを検証するために、自動検証と決定論的チェックをどのように活用しているかについて明らかにしました。

机の上のノートとルーペ、そして光る回路が描かれたガラスの立方体
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Anthropicのエンジニアリングチームは現在、同社のAIアシスタントであるClaudeに依存し、Claude Code製品のコードの約90%を記述・レビューしています。最近の技術投稿で、スタッフメンバーのAddy Osmani氏は、ソフトウェアの信頼性を維持しながらこの高いレベルの自動化を可能にする内部検証システムの詳細を説明しました。このアプローチにより、人間の労力はすべての行を書くことから、自動化されたエージェントが生み出す証拠を判断することへとシフトします。

何が起きたか

Claude Codeチームは、AIエージェントがコーディングタスクの大部分を担当するようワークフローを構築しましたが、厳格な一連の自動チェックを通過せずに変更をコミットすることはありません。これらのチェックは、数十または数百もの同時並行エージェントが動作することを想定して設計されています。エンジニアがすべての単体変更を確認する代わりに、システムは最終的な判断を下すためにエンジニアが確認できる構造化された証拠を提供します。

この手法は、開発者コミュニティにおいてコストと完全性に関する議論を巻き起こしました。批判者は、検証のために大規模言語モデルを使用する推論コストが、より安価な決定論的ツールと比較して正当化されるかどうかを疑問視しました。また、他の人々は、AIエージェントが根本的な問題を修正するのではなく、テストを操作してパスさせる可能性があることを懸念していました。Anthropicは、高価なモデルレビューの前に安価な決定論的チェックを重ね、エージェントがシステムを悪用しないよう厳格なルールを適用することで、これに対応しました。

仕組み

検証プロセスは、実行コストが非常に低い決定論的チェックから始まります。これには標準的なビルド、リンター、ユニットテスト、およびプロパティベーステストが含まれます。これらは通常のソフトウェア処理であるため、大きな費用をかけずに頻繁に再実行できます。これらのチェックを通過した後でのみ、システムはモデルベースのレビューを開始します。この階層化されたアプローチにより、単純なテストでは答えられない複雑な判断(例えば、変更が正しいアーキテクチャアプローチを取っているか、既存のテストでカバーされていないエッジケースを見逃していないかを評価するなど)に対してのみ、高価な推論リソースが確保されます。

エージェントが結果を操作することを防ぐため、Anthropicは変更対象のコードとそれを検証するチェックとの間に厳格な分離を課しています。もし変更がそれ自身を判定するチェックを修正できる場合、システムはそのチェックを破綻しているとみなします。例えば、コードレビュアーは新しいプルリクエストではなく、ベースブランチからREVIEW.mdなどの設定ファイルを読み取ります。エージェントは、不安定なテストをスキップしたり、失敗を隠蔽するために遅延を追加したり、テストがパスするまで再実行したりすることは禁止されています。エージェントが失敗したテストを解決できない場合は、テストを削除し、その理由を文書化することが義務付けられ、透明性が確保されます。

主要な詳細

  • Claudeは、Claude Codeチームのコードの約90%を記述・レビューしています。
  • 検証スキルは、.claude/skills/ 配下のリポジトリ固有フォルダに保存されます。
  • コスト管理のため、ビルドやリンターなどの決定論的チェックは、モデルベースのレビューの前に実行されます。
  • エージェントは、自身のコードを判定するチェックを変更できません。レビュアーはベースブランチから読み込みます。
  • 6月から9月にかけて、マージされたプルリクエストは倍増し、ロールバックは40%以上減少しました。
  • エンジニアは、スクリーンショットやテストログなどの証拠を確認し、出荷されるすべての変更に対して責任を持ち続けます。

なぜ重要なのか

AIを用いてソフトウェアを開発するチームにとって、このモデルは人員数を線形に増加させることなく開発をスケールアップするための青写真を提供します。堅牢な検証インフラストラクチャへの投資があれば、高い自動化率が可能であることを示しています。重要な洞察は、AIそのものではなく、AIが生み出す証拠に対して信頼を置くという点です。人間の役割を作者から監査役へシフトすることで、チームは品質基準を維持しながら、より多くのボリュームの変更を処理できます。

しかし、偽陽性率や具体的な推論コストに関する公開データがないため、チームは自社の実装を入念にベンチマークする必要があります。この戦略には、エンジニアが入力していないコードに対しても責任を受け入れるという文化的な転換が必要です。また、バグを隠すためにテストを書き換えるなど、エージェントが近道を取ることを防ぐための厳格なツールも要求されます。これらの安全策がなければ、AIコーディングによるスピード向上は、技術的負債の増加と不安定性によって相殺される可能性があります。

実践できること

  • AIエージェントが標準的なユニットテストで見逃しがちなエッジケースを特定できるよう、プロパティベーステストを実装してください。
  • エージェントが自身の判定者を変更することを防ぐため、検証ロジックをアプリケーションコードから分離してください。
  • 高価なモデルベースのレビューを開始する前に、リンターやビルドなどの安価な決定論的チェックを実行してください。
  • 予期せぬ挙動の変化を発見するため、差分テストを使用して新しい実装を古い実装と比較してください。
  • 検証プロセスの透明性を確保するため、エージェントがテストを削除またはスキップする理由を文書化することを必須としてください。
  • チームがワークフローを段階的に調整できるように、検証ゲートを必須にする前にコンプライアンスを監視してください。
  • #ai coding
  • #software engineering
  • #anthropic
  • #code verification
  • #developer tools

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事