Les juges de nouveauté des LLM échouent sur les idées de recherche générées par IA

Hugging Face et Ai2 ont publié une nouvelle étude intitulée Old Ideas, Novel Problems, qui examine la fiabilité avec laquelle les grands modèles de langage (LLM) peuvent juger la nouveauté des idées de recherche scientifique. Publiée fin octobre 2026, cette étude révèle que les systèmes d'IA actuels échouent souvent à distinguer les concepts véritablement nouveaux des travaux existants simplement reformulés, en particulier lorsqu'ils évaluent des idées générées par d'autres modèles d'IA.

Ce qui s'est passé

L'équipe de recherche a développé un benchmark pour tester six LLM de premier plan, dont GPT-5.1 à GPT-5.4 et Claude Sonnet 4.5 à Claude Opus 4.6. Ils ont constaté que des ajustements apparemment mineurs aux prompts d'évaluation pouvaient entraîner des variations de précision de plus de 50 points de pourcentage. Dans un test spécifique impliquant GPT-5.4, le changement de quelques mots dans l'instruction a fait chuter la capacité du modèle à identifier l'idée la plus novatrice dans une paire de 93,5 % à 40,9 %, soit en dessous du hasard.

L'étude met en évidence un fossé critique dans les outils automatisés de découverte scientifique. Alors que des systèmes comme AutoDiscovery et Theorizer peuvent générer des hypothèses, ils dépendent de juges de nouveauté pour filtrer les travaux incrémentaux ou dupliqués. Les résultats montrent que ces juges sont très instables. Un prompt efficace pour un modèle peut dégrader les performances d'un autre, et l'ajout d'étapes de raisonnement supplémentaires ou de capacités de récupération n'améliore pas systématiquement la précision. Dans certains cas, des systèmes d'évaluation coûteux et conçus sur mesure se sont révélés moins performants que des baselines simples basées sur des prompts.

Pour créer le benchmark, les chercheurs ont extrait des évaluations par les pairs (peer reviews) de la conférence ICLR 2026. Ils ont identifié 154 articles acceptés où les évaluateurs louaient explicitement la nouveauté et 145 articles rejetés où les évaluateurs remettaient en question l'originalité. Cela a permis de constituer un jeu de données Human-Only avec des preuves solides des niveaux de nouveauté. Ils ont ensuite créé un jeu de données Human+Generated en associant ces idées humaines à des idées produites par un générateur LLM basique. Cette configuration leur a permis de tester la performance des juges sur le contenu généré par IA qu'ils sont de plus en plus censés évaluer.

Comment cela fonctionne

Le pipeline d'évaluation teste les juges de nouveauté selon deux modes : pointwise, où le modèle note la nouveauté absolue d'une idée unique, et pairwise, où il compare deux idées pour déterminer laquelle est la plus novatrice. Les chercheurs ont fait varier plusieurs facteurs indépendamment, notamment le texte du prompt, le budget de raisonnement alloué au modèle, l'accès éventuel du juge à la littérature connexe et le formatage des idées en entrée.

Un résultat clé est que les juges de nouveauté sont fragiles face au texte généré par IA. Lorsque le prompt indiquait explicitement au modèle qu'une idée dans la paire était novatrice, GPT-5.4 performait bien. Cependant, lorsque le prompt demandait simplement quelle idée était novatrice sans cet indice, les performances se sont effondrées. Cela suggère que les modèles pourraient compter fortement sur les indices contextuels plutôt que sur une compréhension sémantique profonde de l'originalité scientifique. L'étude a également révélé que la réécriture des idées dans une structure commune n'a pas éliminé ces incohérences, indiquant que le problème ne relève pas uniquement des différences de style d'écriture.

Les chercheurs ont également comparé le prompting simple aux workflows agentiques. Ils ont testé GPT-5.6 Sol avec un budget de raisonnement extra-élevé et une recherche itérative en direct contre des configurations de récupération standard. Malgré un coût environ dix fois supérieur par décision, le juge agentique a atteint un score macro-F1 de 0,78, restant derrière une baseline simple de Claude Opus 4.6 qui a obtenu 0,89. Cela démontre que l'augmentation de la puissance de calcul et de la complexité de la recherche ne se traduit pas automatiquement par une meilleure détection de la nouveauté.

Détails clés

• L'étude évalue six modèles : GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6.
• Les changements de prompt ont causé des baisses de précision de plus de 50 points de pourcentage pour GPT-5.4 sur les idées générées par IA.
• Le jeu de données Human-Only contient 154 idées humaines à haute nouveauté et 145 idées à faible nouveauté issues des évaluations de l'ICLR 2026.
• Des évaluateurs dédiés comme Idea Novelty Checker coûtent 30,66 $ par décision mais n'ont obtenu qu'un macro-F1 de 0,642.
• Un prompt simple utilisant Claude Opus 4.6 a coûté 2,59 $ et a atteint un macro-F1 plus élevé de 0,854.
• Un annotateur expert a été d'accord avec la polarité issue de l'extraction des évaluations dans 47 des 50 cas vérifiés.

Pourquoi c'est important

Pour les équipes d'ingénierie développant des systèmes RAG ou des assistants de recherche automatisés, cette étude sert d'avertissement contre la confiance aveugle dans les jugements d'originalité des LLM sans validation rigoureuse. Si votre système utilise un LLM pour filtrer ou classer du contenu généré, la sortie peut être extrêmement sensible à la formulation du prompt plutôt qu'à la qualité réelle du contenu. Cette instabilité peut conduire au rejet d'idées valides ou à la promotion de travaux dérivés, compromettant ainsi la valeur de l'automatisation.

Les résultats remettent également en cause l'hypothèse selon laquelle des workflows agentiques plus avancés résolvent les problèmes d'évaluation. Dépenser beaucoup plus en appels API pour la recherche itérative et le raisonnement peut donner des résultats pires qu'un prompt simple soigneusement réglé. Cela a des implications directes pour l'optimisation des coûts et l'architecture des systèmes. Les développeurs devraient privilégier des benchmarks robustes sur des données générées par IA plutôt que de se fier à des métriques de performance dérivées de textes écrits par des humains.

Ce que vous pouvez faire

• Testez vos juges de nouveauté sur des idées générées par IA, et non seulement sur des échantillons écrits par des humains, pour exposer leur instabilité.
• Mesurez la sensibilité en variant légèrement la formulation des prompts et en observant les changements de verdicts.
• Évitez de supposer que des budgets de raisonnement plus élevés ou des étapes de récupération supplémentaires amélioreront la précision de la détection de la nouveauté.
• Utilisez les comparaisons par paires avec prudence, car les verdicts peuvent s'inverser en fonction de légers ajustements du prompt.
• Envisagez d'utiliser des baselines simples et peu coûteuses basées sur des prompts avant d'investir dans des pipelines d'évaluation agentiques complexes.
• Adoptez le benchmark et le pipeline fournis pour évaluer les nouveaux modèles dès qu'ils deviennent disponibles.