Cloudflare、プロンプトキャッシュによりAIレビューコストを68%削減

Cloudflareのエンジニアは、AIを活用したコードレビューの平均コストを68パーセント削減することに成功し、1回あたり2.46ドルからわずか0.77ドルまで引き下げました。2026年9月中旬から10月初旬にかけて実施されたこの最適化キャンペーンでは、検出品質を犠牲にすることなく、中央値としてのレビュー時間を4分超から2分未満へと大幅に短縮しました。

何が起きたか

今年初め、CloudflareのAIコードレビュアーは、アーキテクチャが安定しているにもかかわらず、コストが急上昇していました。4月には平均レビューコストが1.19ドルでしたが、8月下旬にはその数字が約2.46ドルと2倍以上に増加しました。チームはこの増加の主な要因を2つ特定しました。一つは、エンジニアが提出するコード変更の複雑さが増し、高価なフルレビュー階層への処理が増えたこと、もう一つは、より高性能だが価格も高いAnthropicモデルへの戦略的な切り替えです。具体的には、社内標準チェックのためにClaude Opus 4.7へ移行したことで、そのコンポーネントのコストが1回あたり0.25ドルから0.88ドルに上昇しました。

9月中旬、チームは積極的な最適化イニシアチブを開始しました。トークン使用パターンを分析した結果、キャッシュヒット率は高いものの、処理されるトークンの絶対量が請求額を押し上げていることが判明しました。10月初旬までに、構造レベルおよびモデルレベルの一連の変更を実施した後、平均コストは0.77ドルまで低下しました。これはピーク時の支出週と比較して68パーセントの削減を意味します。同時に、中央値としてのレビュー時間は4分9秒から1分32秒へと短縮され、開発者体験と財務効率の両方が大幅に改善されました。

仕組み

核心的な技術的ブレークスルーは、Anthropicのプロンプトキャッシュの活用方法を見直すことにありました。プロンプトキャッシュにより、大規模言語モデル（LLM）は会話の計算済みプレフィックスを保存でき、後続のリクエストで安価に再利用することが可能になります。しかし、Cloudflareは当初の実装では異なるリポジトリ間でキャッシュデータを共有できていないことを発見しました。システムプロンプトには、キャッシュブレークポイントの前に作業ディレクトリや日付などのリポジトリ固有の詳細が含まれていたため、すべての新しいセッションがキャッシュミスで開始されていました。システムプロンプトを分割し、静的なエージェント指示の後にキャッシュマーカーを配置することで、共有される11k～21kトークンのプレフィックスをすべてのジョブで再利用できるようにし、頻繁な書き込みを安価な読み取りに変換しました。

さらなる効率化は、セッションあたりのLLM呼び出し回数を減らすことから得られました。以前は、サブレビュアーがアクセス権限のないツールを使用しようとし、無駄な呼び出しやエラー回復ループが発生していました。チームはこれらのアクセス不可なツールを削除し、ファイル読み取りを並列化することで、レビュアーが複数の連続ステップではなく、単一のターンでコンテキストを取り込めるようにしました。また、再レビュー時に不要なレビュアーをスキップするロジックを実装し、完了としてマークされた後もバックグラウンドで実行が続いているジョブをキャンセルしました。これらの変更により、平均LLM呼び出し回数とレビューあたりの総トークン数が全体的に減少しました。

主要な詳細

• 平均レビューコストが2.46ドルから0.77ドルに低下し、68パーセントの削減を達成しました。
• 中央値としてのレビュー時間が4分09秒から1分32秒に改善されました。
• システムプロンプトの再構築後、共有プレフィックスのキャッシュヒット率が大幅に向上しました。
• Sonnet 5からSonnet 5.5への切り替えにより、一部のレビュアータイプではトークン使用量の低下によりコストがほぼ半減しました。
• コード変更による節約額は0.65ドル、モデルおよびエフォート調整による節約額は1.06ドルでした。
• レビュー時間の99パーセンタイル値は、4月のレビューの75パーセントよりも速くなりました。

なぜ重要か

大規模言語モデルを用いて構築するエンジニアリングチームにとって、このケーススタディは、アーキテクチャの安定性がコストの安定性を保証しないことを浮き彫りにしています。モデルの能力が高まるにつれ、ユーザーはより複雑な入力を行う傾向があり、これが意図せずトークン消費を増加させる可能性があります。Cloudflareの経験は、キャッシュデータが最大限の再利用のために構造化されていない場合、高いキャッシュヒット率だけでは不十分であることを示しています。開発者は、キャッシュを効果的に活用するために、静的で共有されるコンテンツが動的で変化するコンテンツから分離されるよう、プロンプト構造を積極的に管理する必要があります。

さらに、コストドライバーがインフラストラクチャからモデル選択およびエフォートレベルへシフトしていることは、継続的なチューニングが必要であることを示唆しています。強力なモデルを選ぶだけで「設定して放置」できるわけではありません。チームは、より高いエフォート設定が結果において比例した価値をもたらすかどうかを継続的に評価する必要があります。Cloudflareは、あるタスクでは中程度のエフォートで十分であり、他のタスクでは高いエフォートがわずかなコスト増に見合う価値があることを発見しました。このような細やかな構成アプローチにより、深い推論を必要としないタスクに対して計算リソースを過剰にプロビジョニングすることを防ぎます。

あなたができること

• プロンプト構造を監査し、静的プレフィックスが動的変数から分離されていることを確認して、キャッシュ利用率を向上させてください。
• セッションあたりのLLM呼び出し回数を監視し、ツールエラーや不要な要約によって生じる無駄なターンを特定してください。
• 新しいモデルバージョンを現在のベースラインに対してテストしてください。効率の改善により、トークン単価の高さを相殺できる場合があります。
• コンテキスト取得のための並列処理を実装し、逐次的な遅延と呼び出し回数を削減してください。
• 異なるタスク階層に対するエフォート設定を見直し、単純なチェックに対して過剰な計算を行っていないか確認してください。
• キャンセルされたジョブがスクリプトレベルで本当に終了していることを確認し、バックグラウンドでのリソース浪費を防いでください。