Utiliser des modèles de décision pour une évaluation évolutive des agents dans AWS Bedrock

Amazon Web Services a étendu sa fonctionnalité Amazon Bedrock AgentCore Evaluations pour prendre en charge des évaluateurs personnalisés alimentés par des modèles de décision. Publiée en novembre 2026, cette mise à jour permet aux développeurs d'intégrer des modèles spécialisés tels que Jev de TypeSafe et le modèle open-source Strands Decider 2B directement dans leurs pipelines d'évaluation d'agents. Cette approche offre une alternative structurée aux juges basés sur de grands modèles de langage (LLM) généralistes pour des tâches de validation spécifiques et répétitives.

Ce qui s'est passé

AgentCore Evaluations est conçu pour noter les agents d'IA tout au long de leur cycle de vie, depuis le développement jusqu'au trafic de production. Bien que le service inclue déjà 15 évaluateurs intégrés qui utilisent de grands modèles de langage (LLM) pour évaluer les réponses par rapport à des grilles d'évaluation, il prend désormais en charge des évaluateurs personnalisés définis soit comme LLM-as-a-judge, soit comme logique basée sur du code. Le nouveau point focal concerne les évaluateurs basés sur du code capables d'appeler des systèmes externes, y compris des modèles de décision, via des fonctions AWS Lambda.

Les modèles de décision diffèrent des LLM standards en renvoyant des probabilités calibrées sur un ensemble fixe de réponses plutôt qu'en générant du texte libre. Cela les rend idéaux pour des questions étroites où une personne informée peut porter un jugement rapide, comme vérifier si une réponse reste dans le sujet ou si un appel d'outil est sûr. En intégrant ces modèles, les développeurs peuvent créer une couche de filtrage qui signale efficacement les problèmes avant d'escalader les cas complexes vers des évaluateurs LLM plus coûteux et explicatifs.

L'annonce met en lumière deux backends spécifiques pour cette intégration : Jev, un service hébergé par TypeSafe, et Strands Decider 2B, un modèle open-source de l'équipe Strands Agents. Les deux prennent en charge trois types de questions : binaire oui/non (noul), choix multiple (choice) et niveaux ordonnés (score). Cette structure permet des seuils précis et programmatiques, difficiles à atteindre avec la sortie variable des modèles génératifs.

Comment cela fonctionne

L'intégration repose sur des fonctions AWS Lambda servant de pont entre AgentCore Evaluations et le modèle de décision. Lorsqu'une évaluation est déclenchée, la fonction Lambda reçoit des spans OpenTelemetry contenant les données d'interaction de l'agent. Un module de normalisation formate ces données en une requête adaptée au modèle de décision, envoyant uniquement l'historique des tours pertinents pour les vérifications au niveau de la trace ou la session complète pour des évaluations plus larges.

Une fois que le modèle de décision traite l'entrée, il renvoie une distribution de probabilité. L'adaptateur Lambda convertit cette distribution dans un format attendu par AgentCore. Pour les questions binaires, la probabilité de "true" devient la valeur. Pour les questions notées, le système calcule un niveau attendu pondéré par la probabilité, mis à l'échelle entre zéro et un. Ce résultat est ensuite enregistré en tant qu'évaluateur basé sur du code dans le plan de contrôle AgentCore, lui permettant de fonctionner parallèlement aux métriques intégrées telles que la correction et l'utilité.

Les développeurs peuvent déployer cette configuration à l'aide de scripts Python fournis qui gèrent la création des rôles, l'emballage Lambda et l'enregistrement de l'évaluateur. Le système prend en charge à la fois les évaluations par lots à la demande sur des sessions stockées et l'évaluation continue en ligne du trafic en direct. Des indicateurs dans le script de déploiement permettent aux utilisateurs d'opter pour les backends Jev ou Strands Decider, avec des options pour approvisionner automatiquement les instances EC2 nécessaires pour les modèles auto-hébergés.

Détails clés

• Les modèles de décision renvoient des probabilités calibrées sur des options fixes, contrairement aux LLM qui génèrent du texte libre et des justifications.
• Deux backends sont pris en charge : Jev (hébergé par TypeSafe) et Strands Decider 2B (open-source, auto-hébergé).
• Trois types de questions sont pris en charge : noul (oui/non), choice (jusqu'à 255 options) et score (2 à 10 niveaux ordonnés).
• Les évaluateurs basés sur du code s'exécutent dans AWS Lambda, recevant des spans OpenTelemetry et renvoyant des résultats structurés à AgentCore.
• Le « pattern cascade » recommande d'utiliser des modèles de décision pour un filtrage rapide et peu coûteux, n'escaladant que les tours à faible confiance vers des évaluateurs LLM.
• La validation nécessite de comparer les sorties des modèles de décision avec des échantillons annotés par des humains pour vérifier les taux d'accord et la calibration.

Pourquoi c'est important

Pour les ingénieurs construisant des agents d'IA en production, le coût et la cohérence sont des préoccupations majeures. Les évaluateurs LLM généralistes fournissent des explications riches mais sont coûteux et peuvent souffrir de dérives de confiance. Les modèles de décision offrent un moyen d'appliquer des grilles d'évaluation spécifiques de manière cohérente sans la variabilité du texte génératif. En les utilisant comme premier passage, les équipes peuvent réduire le volume d'interactions envoyées aux modèles plus grands, abaissant ainsi les coûts opérationnels tout en maintenant une couverture élevée.

Cette approche améliore également la fiabilité des tests automatisés. Parce que les modèles de décision produisent des probabilités numériques, les développeurs peuvent définir des seuils précis pour la réussite ou l'échec de critères spécifiques. Ceci est crucial pour les domaines soumis à forte conformité comme les RH ou la finance, où les politiques doivent être appliquées uniformément. La capacité de seuiller et d'agréger ces scores de manière programmatique permet des systèmes de surveillance et d'alerte plus robustes.

De plus, la séparation des tâches de « lecture » versus « déduction » clarifie la stratégie d'évaluation. Les vérifications étroites pour l'ancrage factuel ou l'achèvement des objectifs peuvent être gérées par des modèles de décision, tandis que les tâches de raisonnement complexe restent avec les juges LLM. Cette architecture hybride tire parti des forces des deux technologies, garantissant que la puissance d'investigation approfondie est réservée aux cas où les simples vérifications binaires sont insuffisantes.

Ce que vous pouvez faire

• Identifiez les questions d'évaluation étroites et répétitives dans votre flux de travail d'agent, telles que le respect des politiques ou l'ancrage factuel.
• Construisez un échantillon annoté du trafic de votre agent avec des références humaines pour valider tout nouvel évaluateur basé sur un modèle de décision.
• Déployez les scripts Python fournis pour configurer des évaluateurs basés sur Lambda pour Jev ou Strands Decider dans votre compte AWS.
• Implémentez le pattern cascade en définissant des seuils de confiance qui déclenchent une évaluation LLM plus profonde uniquement lorsque nécessaire.
• Surveillez la calibration en regroupant les tours par probabilité rapportée et en les comparant aux taux d'accord humain.
• Relancez les vérifications de validation chaque fois que vous mettez à jour la version du modèle de décision ou reformulez les questions d'évaluation.