GPT-6.1 Terra privilégie la vitesse à la précision dans les tâches de raisonnement intensif

OpenAI a lancé GPT-6.1 Terra le 26 octobre, le positionnant comme une alternative économique à son modèle phare, GPT-6 Astra. Des tests indépendants révèlent que si Terra offre des avantages significatifs en termes de vitesse et de prix, il reste en retrait derrière Astra pour le raisonnement numérique complexe et les tâches exhaustives de validation des données.

Ce qui s'est passé

OpenAI a fixé le prix de GPT-6.1 Terra à un dixième du tarif standard des tokens d'entrée et de sortie de GPT-6 Astra. Le modèle intermédiaire coûte 1 $ par million de tokens d'entrée et 5 $ par million de tokens de sortie, contre respectivement 10 $ et 50 $ pour Astra. OpenAI affirme que Terra exécute les tâches plus de trois fois plus vite qu'Astra lors de son benchmark interne Agents’ Last Exam, bien que ces résultats liés à l'utilisation de l'ordinateur ne soient pas directement comparables aux tests synthétiques indépendants.

Pour évaluer les compromis réels entre coût et précision, une série de trois tests synthétiques a été menée en utilisant la version finale de chaque modèle via l'API d'OpenAI. Les tests se concentraient sur des scénarios nécessitant un effort de raisonnement élevé, où les modèles précédents avaient rencontré des difficultés. L'objectif était de mesurer la vitesse, les coûts estimés en tokens et la précision sur différents types de charges de travail d'ingénierie, plutôt que de reproduire les benchmarks internes d'OpenAI.

Les résultats ont mis en évidence une divergence claire de performance. Alors que les deux modèles obtenaient des résultats identiques sur les tests faciles et de difficulté moyenne, les tests difficiles ont révélé les limites de Terra. Dans certains cas, Terra évitait complètement de répondre aux questions complexes, renvoyant le travail à l'utilisateur, tandis que dans d'autres, elle fournissait des réponses confiantes mais incorrectes. Astra maintenait une précision supérieure, mais à un coût et une latence nettement plus élevés.

Comment cela fonctionne

L'évaluation impliquait l'exécution de tests mono-instance pour le raisonnement SQL, la validation des données et le triage des journaux d'incident. Chaque test était noté par rapport à des clés vérifiées, sans plafond imposé sur les tokens de sortie, bien que les limites intégrées au modèle s'appliquent toujours. Le paramètre « high » (effort de raisonnement élevé) a été utilisé pour les deux modèles, bien que cela ne garantisse pas un budget de tokens de raisonnement identique pour chacun.

Dans le test de raisonnement SQL, les modèles analysaient une base de données fictive de 500 versions logicielles avec des conditions complexes telles que les suppressions douces et les coûts multi-devises. Terra traitait les données rapidement mais échouait à calculer les totaux pour six questions, écrivant plutôt des requêtes SQL pour que l'utilisateur les exécute. Elle fournissait également des comptes incorrects pour quatre autres questions avec une grande confiance. Astra, bien que plus lent et plus coûteux, tentait tous les calculs et obtenait un score nettement supérieur, même s'il produisait un total légèrement erroné pour une métrique.

Pour la validation des données, les modèles vérifiaient 4 950 fiches clients contre 19 règles. Terra signalait 35 des 40 fiches invalides avec une précision parfaite sur les fiches valides, manquant cinq cas nécessitant une comparaison inter-fiches. Astra détectait les 40 fiches invalides, mais prenait plus de quatre fois plus de temps et coûtait environ douze fois plus cher. En triage des journaux d'incident, les deux modèles identifiaient avec succès la cause racine d'une panne fictive et ignoraient les fausses pistes plantées, aboutissant à une égalité malgré l'utilisation plus élevée des ressources par Astra.

Détails clés

• Tarification : GPT-6.1 Terra est facturé 1 $/million de tokens d'entrée et 5 $/million de tokens de sortie, soit un dixième du coût de GPT-6 Astra (10 $/50 $).
• Précision SQL : Astra a obtenu un score de 48/50 tandis que Terra a obtenu 26/50, Terra ayant échoué à répondre à six questions d'agrégation et fourni quatre comptes incorrects.
• Validation des données : Astra a atteint un score parfait de 50/50, tandis que Terra a obtenu 45/50, manquant cinq fiches invalides nécessitant des références croisées.
• Triage d'incident : Les deux modèles ont obtenu un score de 50/50, identifiant correctement la cause racine et ignorant les fausses pistes dans une tâche complexe d'analyse de journaux.
• Vitesse et Coût : Sur l'ensemble des trois tests, Terra a pris 258,8 secondes et coûté environ 0,61 $, tandis qu'Astra a pris 709,2 secondes et coûté 7,88 $.
• Tokens de raisonnement : Terra générait systématiquement moins de tokens de raisonnement qu'Astra, contribuant à son coût inférieur et à ses temps de réponse plus rapides.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, ces résultats clarifient où les économies de coûts peuvent être réalisées en toute sécurité et où elles introduisent des risques. La performance de Terra en triage des journaux d'incident suggère qu'elle constitue une option viable et peu coûteuse pour le débogage initial ou l'analyse des journaux lorsque la vitesse est critique et que les enjeux d'une erreur mineure sont gérables. Sa capacité à égaler la précision d'Astra dans ce domaine sans le supplément de prix la rend attractive pour les tâches opérationnelles à haut volume.

Cependant, la baisse de précision en raisonnement SQL et en validation des données souligne les dangers d'utiliser des modèles moins chers pour les rapports financiers ou les contrôles de conformité stricts. La tendance de Terra à fournir des réponses confiantes mais incorrectes pour des comptes simples, ou à déléguer les tâches de calcul à l'utilisateur, nécessite une vérification humaine robuste (human-in-the-loop). Les ingénieurs ne peuvent pas supposer qu'un prix inférieur s'accompagne d'une fiabilité équivalente pour l'agrégation numérique ou la vérification exhaustive des règles.

Cette distinction oblige les équipes à segmenter plus soigneusement leurs charges de travail IA. Les tâches routinières et interprétatives peuvent bénéficier de l'efficacité de Terra, mais l'intégrité critique des données et les calculs financiers exigent toujours la fidélité supérieure d'Astra. Le choix ne porte plus seulement sur le budget, mais sur le type spécifique de raisonnement requis et la marge d'erreur acceptable pour chaque application.

Ce que vous pouvez faire

• Utilisez GPT-6.1 Terra pour le triage initial des incidents et l'analyse des journaux afin de réduire les coûts et d'améliorer les temps de réponse.
• Évitez d'utiliser Terra pour l'agrégation numérique non vérifiée ou les rapports financiers en raison de sa tendance à fournir des comptes incorrects.
• Mettez en œuvre des étapes de vérification humaine lors de l'utilisation de Terra pour les tâches de validation des données, en particulier celles nécessitant des comparaisons inter-fiches.
• Réservez GPT-6 Astra aux requêtes SQL critiques et aux contrôles de conformité des données exhaustifs où la précision est primordiale.
• Surveillez l'utilisation des tokens de raisonnement pour comprendre pourquoi les modèles commettent des erreurs spécifiques et ajustez la complexité des prompts en conséquence.
• Testez les deux modèles sur votre charge de travail spécifique avant de vous engager pour l'un d'eux, car les performances varient considérablement selon le type de tâche.