Les modèles de décision réduisent la latence et les coûts de l'IA en limitant les sorties
De nouveaux modèles de décision comme Jev offrent des réponses en millisecondes à une fraction du coût des LLM en choisissant parmi des options prédéfinies, réduisant ainsi les hallucinations mais limitant le raisonnement complexe.
Traduit automatiquement depuis l'original anglais.
En septembre 2026, la startup TypeSafe AI a lancé Jev, une nouvelle classe de modèle d'intelligence artificielle conçue pour prendre des décisions rapides sans le coût computationnel élevé ni les risques d'hallucination associés aux grands modèles de langage traditionnels. Cette sortie a déclenché un changement immédiat dans l'industrie, avec des géants technologiques tels que Cloudflare, Amazon, OpenAI et Microsoft qui ont rapidement publié leurs propres versions de ces « modèles de décision » pour gérer des tâches à fort volume et faible latence.
Ce qui s'est passé
TypeSafe AI a positionné Jev comme un « modèle Système One », faisant référence à la théorie du psychologue Daniel Kahneman sur la pensée rapide et instinctive par opposition au raisonnement lent et délibéré. La société affirmait que Jev pouvait offrir des latences de bout en bout comprises entre 70 et 500 millisecondes, nettement plus rapides que les plusieurs secondes généralement nécessaires aux LLM standard. Des tests indépendants ont confirmé ces affirmations, une étude co-écrite par Ramayya Krishnan, professeur à l'université Carnegie Mellon, ayant constaté que Jev atteignait une latence médiane de 150 millisecondes sur divers benchmarks. En comparaison, le modèle GPT-6 Astra d'OpenAI affichait une latence médiane de 1,89 seconde durant la même période.
Les implications financières sont tout aussi marquées. TypeSafe AI facture 0,042 $ par million de jetons d'entrée pour Jev, les jetons de sortie étant fournis gratuitement. À titre comparatif, GPT-6 Astra coûte 10 $ par million de jetons d'entrée et 50 $ par million de jetons de sortie. Même la variante GPT-6 Luna, moins chère et optimisée pour la vitesse, coûte 0,10 $ par million de jetons d'entrée et 0,50 $ par million de jetons de sortie. Cette réduction drastique des coûts et des temps a suscité une attention considérable, permettant à TypeSafe AI de lever 870 millions de dollars à une valorisation de 7,5 milliards de dollars. Le succès du modèle a également stimulé une vague d'imitation, avec des développeurs indépendants et des entreprises établies publiant des dizaines de modèles similaires dans les semaines suivant le lancement de Jev.
Comment cela fonctionne
Les modèles de décision diffèrent fondamentalement des LLM traditionnels dans leur processus de génération de sortie. Alors qu'un LLM prédit le jeton suivant dans une séquence de manière répétée jusqu'à former une réponse complète, un modèle de décision effectue une seule passe avant (forward pass). Il lit tous les jetons d'entrée et génère un seul choix de sortie à partir d'un ensemble prédéfini d'options, telles que A, B ou C. Cette contrainte architecturale élimine la génération séquentielle de jetons qui cause une latence élevée et ouvre la porte aux erreurs factuelles, ou « hallucinations », dans les LLM.
Ces modèles conservent l'architecture basée sur les transformers et l'intelligence générale des LLM, leur permettant de généraliser à travers différentes tâches sans nécessiter le réglage fin spécifique au domaine requis par les anciens modèles de classification. Cependant, ils sont restreints à des formats de réponse structurés. En calculant les probabilités uniquement parmi des possibilités prédéterminées, les modèles de décision empêchent la génération de textes inattendus ou fabriqués. Cela les rend très efficaces pour des tâches comme la modération de contenu, la détection de spam et le routage, où l'objectif est de catégoriser les données plutôt que de générer du texte créatif.
Détails clés
- Jev atteint une latence médiane de 150 millisecondes, contre 1,89 seconde pour GPT-6 Astra lors de tests indépendants.
- Le prix des jetons d'entrée pour Jev est de 0,042 $ par million, avec des jetons de sortie gratuits, ce qui undercut largement les concurrents.
- Les modèles de décision utilisent une seule passe avant pour sélectionner parmi des options prédéfinies, évitant la génération séquentielle de jetons.
- Les principaux fournisseurs, notamment Cloudflare, Amazon et Microsoft, ont publié leurs propres modèles de décision suite au lancement de Jev.
- Les performances chutent dans les domaines nécessitant un raisonnement complexe, tels que la médecine, la finance et le droit, par rapport aux LLM.
- Les architectures hybrides combinant des modèles de décision pour les jugements rapides et des LLM pour les explications détaillées montrent des promesses.
Pourquoi c'est important
Pour les ingénieurs logiciels et les responsables techniques, les modèles de décision offrent une solution pratique pour les tâches de traitement à fort volume qui ne nécessitent pas de génération ouverte. Des tâches telles que la modération des publications sur les réseaux sociaux, le filtrage des e-mails de spam ou la détection des attaques par injection de prompt peuvent désormais être gérées avec plus de rapidité et à moindre coût. Michelle Chen, chef de produit groupe chez Cloudflare, suggère que jusqu'à 80 % des tâches typiques des LLM pourraient être déléguées à ces modèles Système One plus rapides et moins chers. Ce changement permet aux équipes de déployer des capacités d'IA sans maintenir de grandes équipes de machine learning pour la formation de classificateurs personnalisés.
Cependant, cette technologie n'est pas un remplacement universel des LLM. Les modèles de décision peinent avec les tâches nécessitant une expertise approfondie du sujet ou un raisonnement logique complexe. Les chercheurs notent que si ces modèles éliminent les hallucinations de sortie, ils n'éliminent pas les erreurs de prise de décision, en particulier dans les puzzles mathématiques ou logiques. Par conséquent, la mise en œuvre la plus efficace peut impliquer des systèmes hybrides où les modèles de décision gèrent le tri initial ou les classifications simples, transmettant uniquement les cas complexes ou à faible confiance à des LLM plus performants, bien que plus lents et plus coûteux.
Ce que vous pouvez faire
- Identifiez les tâches à fort volume et faible complexité dans votre pipeline, telles que la classification de documents ou le filtrage de spam, pour une éventuelle migration vers des modèles de décision.
- Évaluez les modèles de décision à poids ouverts comme Clef de Cloudflare ou SII-Decision pour tester les performances sur vos jeux de données spécifiques sans verrouillage fournisseur.
- Implémentez des architectures hybrides où les modèles de décision effectuent le tri initial, dirigeant uniquement les requêtes ambiguës ou complexes vers des LLM complets.
- Benchmark la latence et les économies de coûts par rapport à votre utilisation actuelle des LLM pour quantifier les gains potentiels d'efficacité opérationnelle.
- Examinez les ensembles d'options prédéfinis pour vos cas d'utilisation afin de garantir qu'ils couvrent tous les résultats nécessaires sans être trop restrictifs.
- Surveillez la précision dans les tâches spécifiques au domaine, en reconnaissant que les modèles de décision peuvent sous-performer dans les domaines nécessitant un raisonnement spécialisé.



