Réduire les coûts de l'IA agentique grâce à la distillation de connaissances au niveau des séquences sur SageMaker

Amazon Web Services a publié un guide technique démontrant comment réduire les coûts opérationnels des applications d'IA agentique en utilisant la distillation de connaissances au niveau des séquences. Publié en novembre 2026, ce guide décrit un flux de travail sur Amazon SageMaker AI où un grand modèle de pointe enseigne à un modèle plus petit et plus efficace à accomplir des tâches complexes en plusieurs étapes. Cette approche répond aux coûts cumulatifs des boucles d'agents en transférant les capacités de raisonnement vers des modèles plus rapides et moins coûteux à héberger.

Ce qui s'est passé

Les applications agentiques diffèrent des chatbots classiques car elles fonctionnent en boucle. Une seule demande utilisateur, comme trouver un produit spécifique sous certaines contraintes, déclenche une série d'actions : recherche dans un catalogue, lecture des résultats, affinement des requêtes, vérification des contraintes et formulation d'une recommandation finale. Chaque étape de cette boucle nécessite un appel distinct à un grand modèle de langage. À l'échelle de la production, payer pour chaque appel individuel à un modèle de pointe érode le retour sur investissement et peut empêcher la livraison des projets.

Pour résoudre ce problème, les développeurs envisagent souvent de passer à des modèles plus petits. Cependant, ces derniers manquent généralement de la profondeur de raisonnement nécessaire aux tâches complexes impliquant l'utilisation d'outils. Le guide AWS propose la distillation de connaissances comme solution intermédiaire. Plus précisément, il utilise la distillation de connaissances au niveau des séquences (SeqKD) pour entraîner un modèle « étudiant » plus petit sur les trajectoires de sortie d'un modèle « enseignant » plus grand. L'objectif est de conserver le comportement de haute qualité de l'enseignant tout en bénéficiant de la vitesse et du coût inférieur de l'étudiant.

Le guide présente un exemple concret utilisant un assistant d'achat. Il démontre comment générer des données d'entraînement de haute qualité à l'aide d'un modèle de pointe, filtrer les résultats réussis et affiner un modèle plus petit sur Amazon SageMaker AI. Le processus repose entièrement sur les sorties textuelles de l'enseignant, ce qui signifie qu'il fonctionne même lorsque le modèle enseignant n'est accessible que via une API et que ses poids internes ou ses logits ne sont pas disponibles.

Comment cela fonctionne

La distillation de connaissances au niveau des séquences traite l'historique complet des interactions de l'agent comme une seule séquence d'entraînement. Contrairement à la distillation basée sur les logits, qui nécessite un accès aux distributions de probabilités internes de l'enseignant, SeqKD n'utilise que le texte généré par l'enseignant. Le modèle enseignant génère plusieurs trajectoires potentielles pour une tâche donnée. Un système de notation programmable évalue ensuite ces trajectoires, en ne conservant que celles qui résolvent avec succès la tâche. Cet échantillonnage par rejet garantit que l'étudiant apprend à partir d'exemples corrects plutôt que de reproduire les erreurs de l'enseignant.

Les trajectoires sélectionnées sont encodées dans un format adapté à l'affinage supervisé. Chaque étape de la boucle de l'agent—raisonnement, appels d'outils et observations—est convertie en un tour de conversation. L'objectif d'entraînement se concentre sur les réponses de l'assistant, apprenant à l'étudiant à prédire la prochaine étape de raisonnement et l'action suivante en se basant sur l'historique de la conversation. En compressant les observations des outils et en tronquant les données inutiles, la méthode permet d'intégrer de longues trajectoires multi-étapes dans des limites de tokens gérables.

L'entraînement a lieu sur Amazon SageMaker AI en utilisant une infrastructure serverless. Le guide utilise Qwen3.5-4B comme modèle étudiant et GLM-5.3 sur Amazon Bedrock comme enseignant. Le service de personnalisation de modèles SageMaker gère la provision de calcul et l'exécution, permettant aux développeurs d'effectuer un affinage par adaptation de rang faible (LoRA) sans gérer de conteneurs ni d'instances. Le modèle résultant est ensuite évalué sur un jeu de données de test pour vérifier qu'il a appris le comportement de l'enseignant.

Détails clés

• Méthode : La distillation de connaissances au niveau des séquences (SeqKD) utilise les sorties textuelles de l'enseignant pour l'affinage supervisé, ne nécessitant aucun accès aux logits ou aux poids de l'enseignant.
• Modèle enseignant : GLM-5.3 sur Amazon Bedrock génère des trajectoires avec une température de 1,0 pour encourager des chemins de raisonnement diversifiés.
• Modèle étudiant : Qwen3.5-4B est affiné en utilisant l'adaptation de rang faible (LoRA) avec un rang de 64.
• Jeu de données : ShoppingBench fournit 750 problèmes synthétisés ; 426 sont utilisés pour l'entraînement et 324 pour l'évaluation, seuls les trajectoires résolues étant conservées.
• Infrastructure : L'entraînement s'exécute sur la personnalisation de modèles Amazon SageMaker AI avec SFT serverless, utilisant une longueur maximale de jeu de données de 16 384 tokens.
• Évaluation : Un processus en deux étapes utilise une pré-vérification à faible coût pour la précision des étapes, suivie d'une évaluation complète de la boucle d'agent de bout en bout.

Pourquoi c'est important

Pour les équipes d'ingénierie développant des systèmes agentiques, l'efficacité des coûts est un obstacle majeur à la mise à l'échelle. Les modèles de pointe offrent des performances élevées mais facturent par token, et les agents consomment beaucoup de tokens par tâche. En distillant cette capacité dans un modèle plus petit, les organisations peuvent réduire considérablement les coûts d'inférence. Cela rend possible le déploiement d'agents sophistiqués dans des scénarios à haut volume où les pressions sur les marges interdiraient autrement l'utilisation de grands modèles.

De plus, SeqKD abaisse la barrière à l'entrée pour le développement d'agents personnalisés. Comme elle ne repose que sur les sorties textuelles, elle fonctionne avec tout modèle accessible via une API, y compris les modèles de pointe propriétaires. Les équipes n'ont pas besoin d'infrastructures spécialisées pour extraire les logits ou gérer des pipelines complexes d'apprentissage par renforcement. La possibilité de réutiliser les jeux de données générés pour plusieurs modèles étudiants améliore encore l'efficacité, permettant une amélioration itérative sans régénérer des données d'enseignant coûteuses.

Ce que vous pouvez faire

• Identifiez les tâches agentiques dans votre stack actuel où les coûts par tâche sont élevés en raison de multiples appels de modèles.
• Sélectionnez un modèle de pointe comme enseignant et un modèle plus petit et économique comme candidat étudiant.
• Implémentez un système de notation ou d'évaluation programmable pour valider automatiquement si les trajectoires de l'agent complètent avec succès les tâches.
• Générez des données d'entraînement diversifiées en échantillonnant le modèle enseignant avec des paramètres de température plus élevés pour explorer différents chemins de raisonnement.
• Encodez les trajectoires multi-étapes dans des formats de chat, en compressant les observations des outils pour tenir dans les limites de tokens pour l'affinage.
• Utilisez des services d'affinage gérés comme la personnalisation de modèles Amazon SageMaker AI pour entraîner des modèles étudiants sans gérer l'infrastructure sous-jacente.