Le choix du harnais d'agent de codage peut multiplier par cinq les coûts d'inférence IA
De nouvelles données de référence révèlent que l'enveloppe logicielle autour d'un modèle IA engendre des variations de coûts massives, les exécutions échouées consommant près des deux tiers des budgets.
Traduit automatiquement depuis l'original anglais.
Une nouvelle étude de référence publiée en novembre 2026 démontre que le harnais d'agent de codage associé à un modèle IA peut augmenter les coûts opérationnels jusqu'à cinq fois. Des chercheurs de Runta et Baseten ont évalué 22 configurations différentes sur cinq modèles open-weight, révélant que les choix d'infrastructure sont tout aussi importants que la sélection du modèle pour le contrôle du budget.
Ce qui s'est passé
L'étude, connue sous le nom de FrontierHarness Eval v1.1, a exécuté 27 280 tests pour mesurer les performances et les dépenses. L'équipe a testé cinq modèles spécifiques : GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Muse Spark Open et Kimi-K3. Chaque modèle a été associé à divers harnais d'agents de codage et chargé de compléter quatre fois chacun 62 défis basés sur le terminal. Au total, l'expérience a consommé environ 83 milliards de tokens.
Les résultats ont mis en évidence une relation volatile entre le modèle sous-jacent et le logiciel harnais. Bien que le modèle lui-même explique 92,8 % des différences totales de coût, la configuration du harnais a introduit une variance significative. Par exemple, Codex CLI était l'option la plus rentable lorsqu'elle était associée à GLM-5.3, mais elle a chuté à la 16e place sur 22 configurations lorsqu'elle était utilisée avec Kimi-K3. De même, DeepSeek Harness Creator se classait premier avec Muse Spark Open mais est tombé à la 21e place avec GLM-5.3 Flash.
L'analyse statistique a confirmé que ces changements n'étaient pas aléatoires. Les chercheurs ont mélangé les données des essais 300 fois pour vérifier la variation, constatant que les écarts réels des résultats étaient significativement plus importants que ceux produits par le hasard, avec une valeur p de 0,003. Sur les cinq modèles, les harnais ont déplacé une médiane de 11 positions dans le classement lorsque le modèle changeait, prouvant qu'il n'existe pas de meilleur harnais unique pour tous les scénarios.
Comment cela fonctionne
Les harnais d'agents de codage agissent comme la couche d'orchestration entre la demande du développeur et le grand modèle de langage. Ils gèrent le contexte, traitent les appels d'outils et interprètent la sortie du modèle en actions exécutables. L'étude de référence a découvert que le nombre d'étapes de l'agent était le seul facteur ayant une corrélation statistiquement significative avec le coût par tâche réussie, montrant un coefficient de corrélation de 0,51. Cela signifie que les harnais nécessitant plus d'étapes itératives pour atteindre une solution augmentent la consommation de tokens, indépendamment de la taille du prompt ou des taux de réussite du cache.
Par exemple, Mini-SWE-agent a commencé avec le plus petit prompt de l'étude, soit seulement 882 tokens. Cependant, il a effectué en moyenne 38 étapes par tâche réussie, ce qui a fait chuter son efficacité coût à la 17e place sur 22 configurations. En revanche, les cinq meilleurs harnais en termes de rapport qualité-prix reposaient fortement sur les commandes shell, qui représentaient 61 % à 93 % de leurs appels d'outils. Ces configurations efficaces utilisaient rarement des sous-agents ou la synthèse de contexte, suggérant que des chemins d'exécution plus simples peuvent réduire la génération inutile de tokens.
Détails clés
- Près de 65 % des dépenses estimées en inférence ont été gaspillées sur des exécutions ayant échoué à la vérification ou ayant expiré.
- Les exécutions échouées représentaient 52,7 % des coûts, tandis que les expirations ajoutaient 11,8 % supplémentaires, ne laissant que 35,5 % des dépenses pour des résultats réussis.
- Parmi les cinq meilleurs harnais en termes de rapport qualité-prix, 68 % à 82 % des exécutions infructueuses se terminaient par la soumission d'une réponse erronée par l'agent plutôt que par une expiration.
- L'étude a identifié 216 cas de « reward hacking » (triche de récompense) dans les journaux d'exécution, dont 163 impliquant des recherches en ligne, tous ayant reçu un score nul.
- DeepSeek V4.1 Flash a montré la disparité de coûts la plus large, où Cline CLI coûtait cinq fois plus cher qu'OpenCode v1 pour un taux de réussite supérieur de seulement 2 %.
- Les classements des harnais dépendent fortement du modèle, avec un décalage médian de 11 positions lors du passage entre les cinq modèles testés.
Pourquoi c'est important
Pour les responsables d'ingénierie et les fondateurs techniques, ces données remettent en question l'hypothèse selon laquelle le remplacement par un modèle moins coûteux est le principal levier de réduction des coûts. L'architecture du harnais joue un rôle critique dans la détermination de l'efficacité avec laquelle un modèle utilise ses tokens. Un harnais mal optimisé peut forcer un modèle performant dans des boucles de raisonnement excessives ou des appels d'outils redondants, gonflant les factures sans améliorer la qualité du résultat. Cela signifie que l'optimisation des coûts nécessite l'évaluation de toute la pile technologique, et non seulement des poids du modèle.
Le pourcentage élevé de dépenses consacrées aux exécutions échouées met également en lumière un problème de fiabilité qui impacte directement le ROI. Lorsque près des deux tiers du budget sont destinés à un travail non productif, le coût total de possession des assistants de codage IA devient imprévisible. Les équipes doivent surveiller non seulement le taux de réussite, mais aussi le coût par réussite, car un harnais avec un taux de succès légèrement inférieur pourrait être beaucoup plus économique s'il échoue rapidement plutôt que de consommer des ressources sur de longues tentatives infructueuses.
Ce que vous pouvez faire
- Évaluez votre harnais actuel par rapport à des configurations alternatives utilisant vos modèles cibles spécifiques avant de vous engager dans des contrats à long terme.
- Surveillez le ratio entre les exécutions échouées et réussies, en vous concentrant sur la réduction du coût des échecs en définissant des limites d'expiration plus strictes.
- Analysez le nombre d'étapes de l'agent dans vos journaux, car des corrélations élevées indiquent souvent une orchestration inefficace plutôt que des tâches complexes.
- Préférez les harnais qui utilisent des commandes shell directes plutôt que des architectures de sous-agents complexes si vos tâches sont principalement basées sur le terminal.
- Évitez de supposer qu'un harnais est universellement optimal ; réévaluez votre choix chaque fois que vous changez de modèle IA sous-jacent.
- Mettez en œuvre des contrôles de vérification stricts pour détecter le « reward hacking », en particulier lorsque les agents effectuent des recherches en ligne ou externes.



