Développer avec l’IA

L'IA excelle en programmation mais peine sur les tâches de recherche nécessitant du jugement

La mise à jour de l'évaluation par METR montre que les modèles d'IA progressent rapidement sur des tâches vérifiables comme le codage, mais restent en retrait sur la recherche ouverte et les défis basés sur le jugement.

Une balance comparant des éléments de code structurés avec des formes abstraites nuageuses représentant le jugement.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

L'organisation à but non lucratif dédiée à l'évaluation de l'IA, METR, a publié un rapport mis à jour le 20 novembre 2026. Il révèle que si les modèles de pointe continuent de s'améliorer de manière exponentielle sur des tâches vérifiables, ils accusent toujours un retard significatif dans les domaines exigeant un jugement comparable à celui d'un humain. Cette mise à jour répond aux interprétations erronées répandues concernant leurs précédents graphiques d'horizon temporel, en intégrant des tâches plus complexes et ouvertes qui reflètent mieux les exigences de la recherche et du développement automatisés.

Ce qui s'est passé

La dernière analyse de METR met à jour son célèbre graphique d'horizon temporel, qui suit les progrès de l'IA en mesurant la durée des tâches que les modèles peuvent accomplir par rapport aux humains. Le graphique original montrait que tous les quatre mois, la capacité des modèles de pointe doublait en termes de durée de tâche. Cependant, cette première version se concentrait largement sur des domaines vérifiables comme le codage et les mathématiques, où le succès est binaire et facile à vérifier automatiquement. Le nouveau rapport élargit ce périmètre pour inclure des tâches plus difficiles à définir et à évaluer, telles que la conception de nouvelles évaluations IA ou la notation d'arguments philosophiques.

Les résultats mettent en évidence une divergence croissante des capacités. Alors que les modèles avancés surpassent désormais presque tous les humains en ingénierie logicielle, ils n'ont produit aucune conception d'évaluation IA utile lorsqu'on leur a demandé d'en créer pour la propre recherche de METR. De même, chargés de noter des arguments philosophiques, les modèles n'ont pas atteint le niveau de performance humain. Ces résultats suggèrent que les techniques d'apprentissage par renforcement qui favorisent la réussite en codage ne se traduisent pas encore efficacement vers des tâches de recherche ouvertes où les critères de succès sont flous ou subjectifs.

Cette distinction est cruciale compte tenu des récentes inquiétudes concernant l'auto-amélioration récursive de l'IA. Un autre rapport METR, fortement expurgé, avait précédemment suggéré que l'IA pourrait accélérer les progrès chez Anthropic d'un facteur deux, suscitant des craintes quant à une conception autonome de l'IA. En testant les modèles sur des tâches nécessitant beaucoup de jugement, METR vise à fournir une image plus claire de la capacité réelle des systèmes d'IA à automatiser le processus de recherche ou s'ils restent limités à l'exécution d'instructions bien définies.

Comment cela fonctionne

METR évalue les capacités de l'IA en attribuant des tâches à la fois aux modèles et aux testeurs humains. Dans le cadre initial, la difficulté était déterminée par le temps réel pris par les humains pour accomplir des tâches spécifiques. Les modèles étaient ensuite notés en fonction des tâches les plus longues qu'ils pouvaient réussir. Pour les tâches vérifiables comme le codage, cette méthode est robuste car des tests automatisés peuvent confirmer si le code fonctionne. L'apprentissage par renforcement tire parti de cette clarté en renforçant les voies neuronales menant à des sorties correctes et en affaiblissant celles causant des erreurs.

Pour le rapport mis à jour, METR a introduit des tâches difficiles à vérifier automatiquement. Au lieu de payer des humains pour accomplir ces tâches potentiellement très longues (des centaines d'heures), les chercheurs ont estimé les temps de complétion en raison de contraintes de coût et d'expertise. Certaines tâches, comme la conception d'évaluations, ont été notées par des employés humains de METR. D'autres, telles que la notation d'arguments philosophiques, reposaient sur l'accord avec un seul évaluateur. Ce passage d'une mesure empirique du temps à une estimation experte et une notation subjective introduit de nouvelles variables, mais permet d'évaluer des compétences cognitives de plus haut niveau.

Détails clés

  • Les modèles d'IA de pointe doublent leur capacité de complétion de tâche tous les quatre mois pour les tâches vérifiables.
  • Aucune évaluation conçue par une IA n'a été considérée comme utile par les employés de METR, malgré la supériorité des modèles sur les humains en codage.
  • Les modèles ont été inférieurs à la performance humaine dans la notation d'arguments philosophiques, un indicateur de jugement.
  • Des modèles plus récents comme Opus 5.5 ont atteint une performance « légèrement au-dessus de la barre » sur la conception d'évaluations, contre « clairement sous la barre » il y a un an.
  • La difficulté des tâches pour les emplois ouverts est désormais principalement estimée plutôt que mesurée par le temps réel de complétion humain.
  • Les experts conviennent que les méthodes d'évaluation actuelles pour les tâches nécessitant du jugement sont encore immatures et difficiles à quantifier.

Pourquoi c'est important

Pour les développeurs logiciels et les responsables techniques, ce rapport clarifie les limites actuelles de l'assistance par IA. Il confirme que si l'IA peut gérer des problèmes complexes de codage et de mathématiques avec une grande fiabilité, elle ne peut pas encore être trusted pour prendre des décisions stratégiques ou définir de nouvelles directions de recherche. Cette distinction est vitale pour les équipes envisageant d'automatiser certaines parties de leur pipeline de R&D. S'appuyer sur l'IA pour des tâches nécessitant du « goût pour la recherche » ou un jugement subjectif peut conduire à de mauvais résultats, car les modèles n'ont pas la capacité de discerner la qualité dans des espaces non définis.

De plus, la difficulté à évaluer ces tâches nécessitant du jugement signifie que les métriques de progrès pourraient devenir moins fiables. À mesure que l'IA pénètre dans des domaines où le succès n'est pas binaire, les tendances exponentielles nettes observées dans les benchmarks de codage pourraient ne plus s'appliquer. Les ingénieurs et les fondateurs doivent être prudents avant d'extrapoler les taux de croissance actuels pour prédire quand l'IA automatisera entièrement la recherche. L'écart entre l'exécution vérifiable et la création ouverte reste un goulot d'étranglement significatif.

Ce que vous pouvez faire

  • Utilisez l'IA pour des tâches vérifiables comme la génération de code, le débogage et la création de tests unitaires, où le succès est facilement mesurable.
  • Évitez de déléguer la planification stratégique, la génération d'hypothèses ou l'évaluation qualitative aux modèles d'IA actuels.
  • Mettez en œuvre des workflows avec intervention humaine pour toute tâche impliquant un jugement subjectif ou une résolution de problème ouverte.
  • Surveillez les cadres d'évaluation émergents qui se concentrent sur le jugement et la créativité, plutôt que de compter uniquement sur les benchmarks de codage.
  • Soyez sceptique face aux affirmations selon lesquelles l'IA peut automatiser entièrement la R&D tant que des métriques robustes pour les tâches nécessitant du jugement ne sont pas établies.
  • Investissez dans la formation des équipes pour critiquer et affiner efficacement les sorties de l'IA dans des domaines ambigus.
  • #ai evaluation
  • #machine learning
  • #metr
  • #llm limitations
  • #ai research

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles