Développer avec l’IA

Les modèles de décision captent 25 % du trafic de Vercel alors que Microsoft entre sur le marché

De nouveaux modèles d'IA qui produisent des choix plutôt que du texte dominent les charges de travail en production. Microsoft et les startups rivalisent pour optimiser ces moteurs de décision rapides et peu coûteux.

Un tableau de commutation numérique représentant les modèles de décision IA connectés aux données.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

En octobre, plus d'une requête sur quatre dirigées vers le routeur de modèles IA de Vercel a été adressée aux modèles de décision plutôt qu'aux grands modèles de langage traditionnels. Cette hausse représente un taux d'adoption massif pour une catégorie technologique inventée seulement un mois auparavant. Des acteurs majeurs comme Microsoft et des startups spécialisées se précipitent désormais pour définir cette nouvelle couche d'infrastructure d'intelligence artificielle.

Ce qui s'est passé

Les modèles de décision constituent une classe distincte d'IA qui ne génèrent pas de jetons de sortie comme les LLM standards. Ils sont au contraire ajustés pour utiliser l'intelligence générale afin de choisir rapidement parmi des options prédéfinies tout en indiquant un niveau de confiance pour ce choix. Cette architecture est optimisée pour les environnements de production où la vitesse et l'efficacité coût prime sur le besoin de raisonnement détaillé ou de génération créative de texte. Le changement rapide des habitudes d'utilisation souligne une demande croissante pour des composants d'IA légers et déterministes dans les piles logicielles.

TypeSafe s'est imposé comme un leader précoce dans ce domaine, atteignant une valorisation de 7,5 milliards de dollars après la sortie de sa famille de modèles Jev. Les métriques d'OpenRouter montrent que les modèles de TypeSafe ont traité plus de 1,5 milliard de requêtes en une seule semaine, indiquant une part de marché dominante sur les canaux visibles. Cependant, la barrière à l'entrée semble faible. Des dizaines de modèles concurrents ont été publiés depuis les débuts de Jev, dont un construit par un ingénieur d'Amazon en un seul week-end. Chaque grand hyperscaler propose désormais sa propre variante.

Mardi, le PDG de Microsoft Satya Nadella a annoncé la disponibilité immédiate et généralisée de Microsoft-Decision-1.1 sur Azure. Simultanément, Sqwish, une startup basée au Royaume-Uni, a annoncé une levée de fonds pré-amorçage de 3 millions de dollars. Le modèle de Sqwish, appelé kettei fat, a été développé par les diplômés de Cambridge Ushnish Sengupta et Federica Freddi. Ils ont réutilisé leurs architectures existantes de petits LLM pour concurrencer dans cette nouvelle catégorie, misant sur la personnalisation et les outils d'entraînement postérieur pour se différencier des offres commoditisées.

Comment cela fonctionne

Le défi technique central dans la construction de modèles de décision efficaces n'est pas seulement l'intelligence brute, mais la calibration. Diogo Almeida, PDG de TypeSafe, a noté que la partie la plus difficile de la création de Jev était de calibrer finement le jugement du modèle à l'aide de données synthétiques statistiquement ajustées. Le modèle doit évaluer avec précision sa propre confiance pour éviter de commettre des erreurs critiques dans les workflows automatisés. Sans cette calibration, un modèle rapide n'est qu'une source rapide d'hallucinations.

Sqwish aborde ce problème en fournissant des outils intégrés d'entraînement postérieur qui permettent aux clients d'améliorer le jugement du modèle en utilisant leurs propres données de production. Cela crée une boucle de rétroaction où le modèle s'adapte aux contextes commerciaux spécifiques au fil du temps. Plutôt que de compter uniquement sur des benchmarks statiques, cette méthode met l'accent sur un réglage continu. Les développeurs peuvent changer facilement de modèle, mais la proposition de valeur évolue vers une amélioration des performances à long terme grâce à l'intégration de données propriétaires.

Microsoft-Decision-1.1 a été conçu en équilibrant coût, latence, intelligence et calibration. Achint Srivastava, le vice-président de l'ingénierie qui a dirigé le projet, a souligné que les modèles strictement optimisés pour les benchmarks échouent souvent dans l'usage réel en entreprise. Les tests de Microsoft se sont concentrés sur des benchmarks réservés reflétant les cas d'usage réels, garantissant que le modèle fonctionne de manière fiable simultanément sur les quatre dimensions critiques.

Détails clés

  • En octobre, plus de 25 % des requêtes du routeur de modèles IA de Vercel ont été dirigées vers des modèles de décision.
  • Les modèles Jev de TypeSafe ont traité plus de 1,5 milliard de requêtes en une semaine via OpenRouter.
  • Microsoft a publié Microsoft-Decision-1.1 pour une utilisation large et immédiate sur Azure.
  • Sqwish a levé 3 millions de dollars en financement pré-amorçage pour son modèle de décision kettei fat.
  • Les modèles de décision produisent des choix prédéfinis et des scores de confiance, et non des jetons de texte.
  • La calibration utilisant des données synthétiques et de production est citée comme l'obstacle technique principal.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques, l'essor des modèles de décision signale un changement dans la façon dont l'IA est intégrée aux produits. Auparavant, les développeurs pouvaient utiliser des modèles de pointe coûteux pour des tâches simples de routage ou de classification, payant pour des capacités de raisonnement dont ils n'avaient pas besoin. Les modèles de décision offrent un moyen de réduire considérablement la latence et les coûts pour ces tâches à volume élevé et faible complexité. Cela permet aux équipes de réserver des modèles puissants et plus lents pour les tâches génératives complexes tout en gérant la logique courante avec des agents spécialisés et efficaces.

La concurrence entre les hyperscalers et les startups souligne également l'importance de la propriété des données et de la personnalisation. Alors que Microsoft et Amazon proposent des modèles de décision robustes et polyvalents, des startups comme Sqwish soutiennent que les solutions génériques deviendront des commodities. La capacité d'affiner un modèle sur des données de production privées offre une défense stratégique (moat) aux entreprises construisant des fonctionnalités IA propriétaires. Comme l'a noté Federica Freddi, cette intelligence « Système Un » représente une opportunité de plusieurs milliards de dollars distincte des valorisations de mille milliards de dollars des laboratoires d'IA généralistes.

Ce que vous pouvez faire

  • Auditez votre utilisation actuelle de l'IA pour identifier les tâches à volume élevé et faible complexité adaptées aux modèles de décision.
  • Testez Microsoft-Decision-1.1 ou les modèles Jev de TypeSafe contre vos routeurs LLM actuels pour réaliser des économies.
  • Évaluez si votre application nécessite une calibration personnalisée via les outils d'entraînement postérieur proposés par des startups comme Sqwish.
  • Surveillez les scores de confiance des modèles de décision pour définir des seuils appropriés pour les interventions humaines dans la boucle.
  • Préparez des jeux de données synthétiques reflétant votre logique métier spécifique pour améliorer la calibration du modèle.
  • Envisagez d'architecturer des systèmes où les modèles de décision « Système Un » gèrent le routage avant de passer les cas complexes aux modèles génératifs « Système Deux ».
  • #ai infrastructure
  • #decision models
  • #microsoft
  • #vercel
  • #llm optimization

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles