Réduction de 71 % des coûts en tokens des agents LLM grâce au déchargement sur S3 et à la pagination
Les ingénieurs d'AWS ont réduit la latence de 80 % et l'utilisation de tokens de 71 % dans les agents Amazon Bedrock en déchargeant les charges utiles JSON volumineuses vers S3 et en mettant en œuvre une pagination des résultats à la demande.
Traduit automatiquement depuis l'original anglais.
Des ingénieurs d'Amazon Web Services ont publié une analyse technique approfondie détaillant comment ils ont optimisé un agent IA de production pour Flightscape, une plateforme d'opérations aériennes. En mettant en œuvre trois stratégies spécifiques pour gérer les entrées JSON volumineuses, l'équipe a réduit la consommation de tokens jusqu'à 71 % et diminué la latence moyenne jusqu'à 80 %. Ces travaux, publiés le 17 novembre 2026, offrent un modèle aux développeurs qui construisent des systèmes agentiques confrontés aux limites de la fenêtre de contexte et aux coûts élevés d'inférence.
Ce qui s'est passé
L'équipe de Flightscape a construit un agent d'optimisation des plannings de formation à l'aide de LangGraph et d'Amazon Bedrock AgentCore. Cet agent aide les compagnies aériennes à vérifier les affectations de formation des équipages par rapport à des règles métier complexes, traitant des entrées pouvant dépasser 20 mégaoctets. Le système intègre plus de 40 outils et gère d'énormes jeux de données structurées, y compris les demandes d'optimisation, les réponses et les rapports de validation. Bien que fonctionnellement robuste, la mise en œuvre initiale souffrait de graves goulets d'étranglement en termes de performance. Les latences moyennes des requêtes dépassaient 15 secondes, et le coût d'exécution de l'agent était prohibitif en raison d'une utilisation excessive de tokens.
Le problème central était architectural : chaque invocation d'outil injectait sa charge utile complète dans la fenêtre de contexte du grand modèle de langage (LLM). À mesure que les conversations s'étendaient sur plusieurs tours, ces objets JSON volumineux se cumulaient, saturant la fenêtre de contexte avant que l'agent ne puisse terminer son raisonnement. Pour résoudre ce problème, l'équipe a re-architecturé la manière dont l'agent gère l'état et récupère les données. Ils ont abandonné le stockage d'artefacts lourds en ligne dans l'état conversationnel au profit d'une approche hybride utilisant Amazon Simple Storage Service (S3) pour le stockage et des références légères pour la gestion des sessions.
Comment cela fonctionne
L'optimisation repose sur trois stratégies composables qui séparent les données lourdes du contexte de raisonnement actif. Premièrement, l'équipe a mis en œuvre un motif de déshydratation et d'hydratation pour l'état de session. Au lieu de stocker les charges utiles JSON brutes dans la mémoire d'Amazon Bedrock AgentCore, l'agent ne stocke que des références adressées par contenu. Au début d'un tour, la fonction hydrate_state() restaure les données de session légères. À la fin d'un tour, dehydrate_state() retire les charges utiles lourdes, les téléverse sur S3 et ne sauvegarde que les clés de référence basées sur SHA-256. Cela garantit que les charges utiles identiques ne sont pas téléversées deux fois, tirant parti de l'adressage par contenu pour assurer l'idempotence.
Deuxièmement, l'équipe a introduit une pagination à la demande pour les grands résultats de liste. Lorsqu'un outil renvoie une liste dépassant une taille d'échantillon spécifique, le résultat complet est stocké dans S3. Le modèle reçoit uniquement un résumé compact contenant le nombre total, un petit échantillon et un identifiant de résultat. Si l'agent a besoin de plus de données, il appelle un get_result_page_tool avec l'identifiant, le décalage et la limite pour récupérer des tranches spécifiques. Cela empêche la fenêtre de contexte d'être inondée de données inutilisées.
Troisièmement, pour les sorties de dictionnaire surdimensionnées, l'équipe a utilisé une compaction basée sur des descripteurs. Plutôt que d'envoyer les dictionnaires imbriqués verbatim, l'agent génère un résumé structurel. Les listes sont représentées par leur nombre et un échantillon, tandis que les dictionnaires imbriqués sont résumés par le nombre de clés. Les valeurs scalaires restent en ligne. Cela permet au modèle de comprendre la structure des données sans consommer de tokens sur le contenu complet, ne récupérant les détails que lorsque nécessaire via l'identifiant de résultat.
Détails clés
- L'optimisation a réduit la consommation de tokens jusqu'à 71 % et diminué la latence moyenne jusqu'à 80 % sur une charge utile représentative de 23 Mo.
- La solution utilise la mémoire d'Amazon Bedrock AgentCore pour la persistance légère de l'état et Amazon S3 pour le stockage des artefacts lourds.
- L'adressage par contenu via des hachages SHA-256 garantit que les charges utiles identiques réutilisent les objets S3 existants, évitant les téléversements redondants.
- Les résultats d'outils plus grands que le seuil d'échantillon renvoient un identifiant et un résumé, nécessitant des appels de pagination explicites pour récupérer les données complètes.
- La compaction des dictionnaires préserve les indices structurels tels que les types de champs et les comptes tout en omettant le contenu imbriqué verbeux.
- L'architecture est construite avec LangGraph, Python 3.12+ et boto3, fonctionnant sur Amazon Bedrock avec Guardrails pour la validation des réponses.
Pourquoi c'est important
Pour les ingénieurs qui construisent des agents de production, la gestion de la fenêtre de contexte fait souvent la différence entre un produit viable et un échec coûteux. À mesure que les agents accèdent à plus d'outils et à des jeux de données plus vastes, l'approche naïve consistant à transmettre des charges utiles complètes entraîne une croissance exponentielle des coûts et des pics de latence. Cette étude de cas démontre qu'il est essentiel de considérer le contexte du LLM comme une ressource rare, plutôt que comme un tampon infini, pour garantir la scalabilité. En découplant le stockage des données du contexte de raisonnement, les développeurs peuvent maintenir un accès haute fidélité aux grands jeux de données sans payer pour chaque octet à chaque tour.
Les techniques décrites ici sont indépendantes des frameworks en principe, bien qu'implémentées avec LangGraph et Bedrock. Le concept d'hydratation et de déshydratation de l'état peut être appliqué à n'importe quel framework d'orchestration prenant en charge les magasins d'état externes. De même, la pagination des résultats et la compaction par descripteurs répondent à des défis universels dans le traitement des données structurées. Ces motifs permettent aux équipes de construire des agents capables de gérer des entrées à l'échelle entreprise tout en maintenant des coûts d'inférence prévisibles et des temps de réponse faibles.
Ce que vous pouvez faire
- Auditez la structure d'état de votre agent pour identifier les charges utiles lourdes actuellement stockées en ligne dans la mémoire conversationnelle.
- Implémentez une couche de stockage adressée par contenu utilisant S3 ou un stockage d'objets similaire pour décharger les artefacts JSON volumineux.
- Remplacez les retours directs d'outils par des objets de résumé incluant des identifiants de résultat pour les listes ou dictionnaires surdimensionnés.
- Construisez des outils de pagination permettant au modèle de demander des tranches spécifiques de données à l'aide de décalages et de limites lorsque nécessaire.
- Utilisez la compaction basée sur des descripteurs pour les dictionnaires imbriqués afin de préserver la compréhension structurelle sans injection de contenu complet.
- Testez votre agent avec des charges utiles volumineuses réalistes pour mesurer les améliorations de latence et les économies de tokens après le refactoring.



