Pourquoi les benchmarks publics de l'IA déçoivent les développeurs et ce qu'il faut mesurer à la place
Les évaluations publiques de l'IA souffrent d'erreurs de notation et de métriques trompeuses. Les développeurs devraient privilégier la fiabilité et les coûts de revue humaine plutôt que les taux de réussite moyens.
Traduit automatiquement depuis l'original anglais.
Alors que les modèles d'intelligence artificielle sont déployés à un rythme accéléré, les scores d'évaluation sont devenus le signal principal pour évaluer les nouvelles capacités. Cependant, une analyse récente de douze benchmarks publics révèle que ces scores représentent souvent mal la performance réelle en raison de mécanismes de notation défaillants et de conceptions de tâches trop étroites.
Ce qui s'est passé
Une revue complète de douze suites d'évaluation publiques, couvrant le codage, les sciences, le travail intellectuel et l'utilisation de l'ordinateur, a révélé des failles significatives dans la manière dont la performance des modèles est mesurée. Dans huit des douze évaluations étudiées, des preuves ont montré que les correcteurs automatiques rejetaient des travaux qui auraient dû être validés. Même lorsque les correcteurs fonctionnent correctement, de nombreux benchmarks privilégient des tâches faciles à vérifier plutôt que celles qui reflètent la valeur réelle sur le terrain, comme la fiabilité, la vélocité de travail et la collaboration multi-tours.
L'étude a examiné quatre benchmarks de codage et de sciences, six évaluations de travail intellectuel et deux axées sur la navigation web et l'utilisation de l'ordinateur. Elle a souligné que la maintenance des benchmarks est devenue similaire au développement logiciel, avec des versions publiées et des changements cassants (breaking changes). Par exemple, Agents’ Last Exam v1.1 a retiré trente tâches et révisé cinquante-sept autres, tandis que l'ensemble public de Harvey LAB est passé d'environ 1 250 tâches à 2 010 depuis mai 2026. Ces modifications rendent difficile la comparaison des scores entre différentes versions, comme on le voit avec Terminal Bench qui retire des tâches saturées à chaque publication.
Comment cela fonctionne
La plupart des tâches d'évaluation se composent de quatre éléments : une instruction (prompt), un environnement tel qu'un conteneur ou une machine virtuelle, un correcteur et, éventuellement, une solution de référence. Le correcteur décide si le travail est validé, en utilisant soit des tests de code déterministes, soit un juge LLM avec des barèmes binaires, soit une combinaison des deux. Les principes de conception favorisent de plus en plus les vérifications déterministes par rapport aux juges LLM pour assurer la reproductibilité, ainsi que la notation basée sur les résultats finaux, ignorant les étapes intermédiaires. De nombreux benchmarks utilisent une notation « tout ou rien » (all-pass scoring), où une tâche n'est validée que si tous les critères sont remplis, reflétant la réalité selon laquelle un travail partiel est souvent inutilisable en production.
Cependant, cette structure introduit des modes de défaillance spécifiques. Les modèles sautent fréquemment les étapes de vérification ou s'arrêtent prématurément, entraînant des erreurs non forcées. Plus critique encore, les correcteurs produisent souvent des faux négatifs en imposant des exigences non déclarées ou en utilisant des clés de réponse ambiguës. Inversement, des faux positifs surviennent lorsque les assertions vérifient la présence de mots-clés plutôt que la correction, permettant à des sorties hallucinées ou incorrectes d'être validées. Par exemple, certaines vérifications ne contrôlent que si un e-mail contient des chiffres spécifiques, indépendamment du fait qu'ils soient attribués aux bonnes catégories.
Détails clés
- Dans huit des douze évaluations publiques, les auditeurs ont trouvé des preuves de correcteurs rejetant des travaux valides.
- La notation « tout ou rien » est courante car les résultats partiels sont rarement utiles, mais elle rend les benchmarks fragiles face à une seule assertion défaillante.
- Les faux positifs sont fréquents ; une audit a trouvé des hallucinations matérielles dans plus de 60 % des résultats ayant passé tous les critères.
- Le taux de réussite moyen masque les problèmes de fiabilité ; un modèle qui résout 70 % des tâches de manière constante est plus précieux qu'un modèle qui résout toutes les tâches 70 % du temps.
- Le coût par tâche est une métrique trompeuse car elle ignore l'attention humaine requise pour examiner et corriger les sorties échouées ou incomplètes.
- Les scores de benchmark reflètent la paire modèle-harnais, et non seulement le modèle, ce qui signifie que la performance varie considérablement selon les outils environnants et les prompts utilisés.
Pourquoi c'est important
Pour les ingénieurs logiciels et les responsables techniques, se fier aux scores des classements publics peut conduire à de mauvaises décisions architecturales. L'écart entre la performance sur les benchmarks et l'utilité en production se creuse car les évaluations mesurent souvent le respect des instructions et les détails d'implémentation plutôt que le jugement et la définition du périmètre du problème. Le travail réel implique des interactions multi-tours, la clarification d'exigences ambiguës et l'adaptation à des contraintes changeantes, pourtant la plupart des benchmarks restent mono-tour (single-shot). Cette inadéquation signifie que les modèles excellant dans les évaluations peuvent peiner face à la nature collaborative et itérative des tâches d'ingénierie réelles.
De plus, l'accent mis sur le coût en tokens plutôt que sur le coût en attention humaine fausse les calculs économiques. Un modèle moins cher qui échoue fréquemment ou nécessite une revue humaine extensive est finalement plus coûteux qu'un modèle plus cher qui fournit un travail fiable et complet. À mesure que les modèles s'améliorent, les erreurs de notation deviennent une proportion plus importante des échecs restants, rendant essentiel d'investir dans une meilleure infrastructure de notation plutôt que simplement dans des tâches plus difficiles. Les développeurs doivent reconnaître qu'un score de benchmark n'est pas une vérité absolue, mais une métrique contextuelle influencée par le harnais spécifique et la logique de notation utilisés.
Ce que vous pouvez faire
- Évaluez les modèles au sein de votre propre harnais de production plutôt que de vous fier uniquement aux scores rapportés par les fournisseurs.
- Mesurez la fiabilité en utilisant les métriques pass@k, en comptant une tâche comme résolue uniquement si l'agent réussit plusieurs essais de manière cohérente.
- Intégrez le temps de revue humaine dans les calculs de coûts, en reconnaissant que des tokens bon marché entraînent souvent des frais généraux d'ingénierie élevés.
- Auditez vos propres pipelines d'évaluation pour détecter les faux négatifs en vérifiant les tâches où plusieurs modèles échouent sur la même assertion.
- Priorisez les benchmarks qui testent les interactions multi-tours et le jugement, ou complétez les évaluations mono-tour par des conversations simulées avec des utilisateurs.
- Implémentez des tests négatifs dans votre logique de notation pour garantir que les sorties connues comme mauvaises sont correctement rejetées par vos évaluateurs.



