Comment Cloudflare a réduit de 68 % les coûts d'examen par IA grâce à la mise en cache des prompts

Les ingénieurs de Cloudflare ont réussi à réduire de 68 % le coût moyen de leurs examens de code assistés par IA, passant de 2,46 $ à seulement 0,77 $ par examen. Cette campagne d'optimisation, menée entre la mi-septembre et le début octobre 2026, a également permis de faire chuter le temps médian d'examen de plus de quatre minutes à moins de deux minutes, sans sacrifier la qualité de la détection.

Ce qui s'est passé

Plus tôt dans l'année, les coûts de l'examineur de code par IA de Cloudflare avaient explosé malgré une architecture stable. En avril, un examen coûtait en moyenne 1,19 $, mais fin août, ce chiffre avait plus que doublé pour atteindre environ 2,46 $. L'équipe a identifié deux facteurs principaux à cette augmentation : la complexité croissante des modifications de code soumises par les ingénieurs, qui renvoyait davantage de travail vers les niveaux d'examen complet coûteux, et un changement stratégique vers les modèles d'Anthropic offrant de meilleures performances, mais à un prix supérieur. Plus précisément, le passage à Claude Opus 4.7 pour la vérification des normes internes a fait passer le coût de ce composant spécifique de 0,25 $ à 0,88 $ par examen.

À la mi-septembre, l'équipe a lancé une initiative d'optimisation agressive. Ils ont analysé les schémas d'utilisation des tokens et découvert que, bien que les taux de réussite du cache soient élevés, le volume massif de tokens traités faisait grimper les factures. Début octobre, après avoir mis en œuvre une série de changements structurels et au niveau des modèles, le coût moyen est tombé à 0,77 $. Cela représentait une réduction de 68 % par rapport aux semaines de dépenses maximales. Parallèlement, la durée médiane de l'examen a chuté de 4 minutes et 9 secondes à 1 minute et 32 secondes, améliorant considérablement l'expérience développeur tout en optimisant l'efficacité financière.

Comment cela fonctionne

La percée technique centrale a consisté à repenser la manière dont le système utilisait la mise en cache des prompts d'Anthropic. La mise en cache des prompts permet aux grands modèles de langage de stocker les préfixes calculés d'une conversation, permettant une réutilisation moins coûteuse pour les requêtes suivantes. Cependant, Cloudflare a constaté que leur implémentation initiale ne parvenait pas à partager les données mises en cache entre différents dépôts. Le prompt système incluait des détails spécifiques au dépôt, comme les répertoires de travail et les dates, avant le point de rupture du cache, ce qui signifiait que chaque nouvelle session commençait par un échec de cache (cache miss). En scindant le prompt système et en plaçant un marqueur de cache après les instructions statiques de l'agent, ils ont garanti que le préfixe partagé de 11k à 21k tokens puisse être réutilisé pour tous les jobs, transformant des écritures fréquentes en lectures bon marché.

Des gains d'efficacité supplémentaires ont été obtenus en réduisant le nombre d'appels LLM par session. Auparavant, les sous-examineurs tentaient d'utiliser des outils auxquels ils n'avaient pas accès, entraînant des appels inutiles et des boucles de récupération d'erreurs. L'équipe a supprimé ces outils inaccessibles et parallélisé la lecture des fichiers, permettant aux examineurs d'intégrer le contexte en un seul tour plutôt qu'en plusieurs étapes séquentielles. Ils ont également implémenté une logique pour ignorer les examineurs inutiles lors des re-vérifications et annulé les jobs qui continuaient de s'exécuter en arrière-plan après avoir été marqués comme terminés. Ces changements ont collectivement réduit le nombre moyen d'appels LLM et le nombre total de tokens par examen.

Détails clés

• Le coût moyen d'un examen a chuté de 2,46 $ à 0,77 $, soit une réduction de 68 %.
• Le temps médian d'examen est passé de 4 min 09 s à 1 min 32 s.
• Les taux de réussite du cache pour le préfixe partagé ont augmenté significativement après la restructuration du prompt système.
• Le passage de Sonnet 5 à Sonnet 5.5 a réduit les coûts de près de moitié pour certains types d'examineurs grâce à une utilisation moindre de tokens.
• Les modifications de code ont représenté 0,65 $ des économies, tandis que les ajustements de modèle et d'effort ont représenté 1,06 $.
• Le temps d'examen au 99e percentile est désormais plus rapide que celui de 75 % des examens réalisés en avril.

Pourquoi c'est important

Pour les équipes d'ingénierie développant avec de grands modèles de langage, cette étude de cas souligne que la stabilité architecturale ne garantit pas la stabilité des coûts. À mesure que les modèles deviennent plus performants, les utilisateurs tendent à soumettre des entrées plus complexes, ce qui peut involontairement augmenter la consommation de tokens. L'expérience de Cloudflare démontre que des taux de réussite de cache élevés ne suffisent pas si les données mises en cache ne sont pas structurées pour une réutilisation maximale. Les développeurs doivent gérer activement la structure des prompts pour s'assurer que le contenu statique et partagé est isolé du contenu dynamique et variable afin de tirer parti efficacement de la mise en cache.

De plus, le déplacement des facteurs de coût de l'infrastructure vers la sélection des modèles et les niveaux d'effort suggère qu'un réglage continu est nécessaire. Choisir simplement un modèle puissant n'est pas une décision « configurez et oubliez ». Les équipes doivent évaluer en permanence si des paramètres d'effort plus élevés produisent une valeur proportionnelle dans les résultats. Cloudflare a constaté que pour certaines tâches, un effort moyen était suffisant, tandis que pour d'autres, un effort élevé justifiait l'augmentation marginale des coûts. Cette approche granulaire de la configuration évite le surdimensionnement des ressources de calcul pour des tâches qui ne nécessitent pas de raisonnement approfondi.

Ce que vous pouvez faire

• Auditez votre structure de prompt pour garantir que les préfixes statiques sont séparés des variables dynamiques pour une meilleure utilisation du cache.
• Surveillez le nombre d'appels LLM par session et identifiez les tours gaspillés causés par des erreurs d'outils ou des résumés inutiles.
• Testez les nouvelles versions de modèles par rapport aux bases actuelles, car les améliorations d'efficacité peuvent parfois compenser des prix par token plus élevés.
• Implémentez un traitement parallèle pour la récupération de contexte afin de réduire la latence séquentielle et le nombre d'appels.
• Revoyez les paramètres d'effort pour différents niveaux de tâches afin de vous assurer que vous ne sur-calculerez pas pour des vérifications simples.
• Assurez-vous que les jobs annulés sont véritablement terminés au niveau du script pour éviter le gaspillage de ressources en arrière-plan.