Développer avec l’IA

Optimisation des démarrages à froid d'Amazon Bedrock AgentCore V2 grâce aux instantanés

Amazon Bedrock AgentCore V2 utilise des instantanés de microVM pour réduire la latence de démarrage des sessions. Les ingénieurs peuvent optimiser les performances en déplaçant le travail d'initialisation vers la phase de build.

Un cube en verre contenant une carte de circuit imprimé gelée, représentant un instantané de microVM libérant des flux de données.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Amazon Web Services a mis à jour l'environnement d'exécution Amazon Bedrock AgentCore à la version V2, introduisant une architecture basée sur des instantanés conçue pour accélérer les temps de démarrage des sessions pour les agents IA. Publiée en novembre 2026, cette mise à jour transfère la charge d'initialisation de chaque nouvelle session utilisateur vers un processus de build unique, réduisant considérablement la latence pour les applications interactives. Ce changement oblige les développeurs à restructurer la manière dont leurs agents gèrent les imports, les connexions clients et le chargement des données statiques pour tirer pleinement parti des nouvelles capacités de préservation de la mémoire.

Ce qui s'est passé

L'environnement d'exécution Amazon Bedrock AgentCore fournit un environnement serverless où chaque session d'agent s'exécute dans une microVM isolée. Dans l'architecture V1 précédente, chaque nouvelle session nécessitait de récupérer une image de conteneur depuis Amazon Elastic Container Registry, de démarrer le conteneur et d'exécuter le code d'initialisation avant de traiter la première requête. Ce processus signifiait que les temps de démarrage à froid augmentaient proportionnellement à la taille de l'image, créant des retards perceptibles pour les utilisateurs attendant la première réponse.

La V2 modifie ce flux en effectuant le travail lourd une seule fois. Lorsqu'un environnement d'exécution est créé ou mis à jour, la plateforme démarre le conteneur, attend un ping de santé, puis fige l'état de la microVM dans un instantané. Cet instantané inclut l'état de la mémoire et du disque de l'application initialisée. Pour les sessions suivantes, la plateforme restaure simplement cet instantané dans une nouvelle microVM, permettant au processus de reprendre exactement là où il s'était arrêté. Cette approche récupère la mémoire inutilisée et garantit que les temps de démarrage des sessions sont plus rapides et plus cohérents, bien qu'elle augmente le temps requis pour la création ou la mise à jour de l'environnement d'exécution.

Comment cela fonctionne

Le mécanisme central repose sur la capture de l'état de l'application après l'initialisation mais avant qu'elle ne commence à gérer le trafic utilisateur. Pendant la phase de build, l'environnement d'exécution vide le cache de fichiers du système d'exploitation pour maintenir l'instantané petit, puis fige la microVM. Lorsqu'une nouvelle session arrive, l'instantané est restauré, ramenant tous les imports, objets et clients en mémoire instantanément. Cependant, les lectures de fichiers ne sont pas conservées car le cache a été vidé ; à la place, les fichiers de l'image de conteneur sont récupérés paresseusement lors du premier accès.

Ce comportement crée des caractéristiques de performance distinctes pour différents types de tâches. Les données résidentes en mémoire, telles que les bibliothèques chargées et les clients instanciés, sont disponibles immédiatement à la vitesse de la mémoire. Les connexions réseau, en revanche, deviennent obsolètes après la restauration et doivent être reconnectées. Les développeurs doivent distinguer entre le travail statique, qui peut être instantané, et les données dynamiques, qui ne le peuvent pas. Pour aider avec les configurations complexes, la V2 introduit des hooks de build qui permettent aux agents de préchauffer des outils externes ou de charger de gros fichiers en mémoire pendant le processus de création de l'instantané, garantissant qu'ils sont prêts à l'emploi immédiat lors de la restauration de la session.

Détails clés

  • Moment de l'instantané : L'instantané est construit une fois par opération de création ou de mise à jour, prenant quelques minutes, plutôt qu'à chaque démarrage de session.
  • Préservation de la mémoire : Les objets et imports maintenus en mémoire au moment de l'instantané sont restaurés instantanément, tandis que les caches de fichiers sont vidés pour minimiser la taille de l'instantané.
  • Chargement paresseux des fichiers : Les fichiers de l'image de conteneur sont récupérés lors de la première lecture, ce qui signifie que les gros fichiers non maintenus en mémoire entraîneront une latence lors du premier accès.
  • Hooks de build : De nouveaux points d'accès HTTP permettent aux agents d'effectuer des tâches supplémentaires de préchauffage, comme le chargement de binaires de navigateur ou d'outils CLI, pendant la construction de l'instantané.
  • Métriques : La surcharge de la plateforme est suivie via OverheadLatency dans CloudWatch, tandis que le temps total jusqu'au premier octet est suivi via Latency.
  • Gestion du réseau : Les sockets réseau obsolètes doivent être fermés avant la prise d'instantané pour éviter les erreurs de connexion, bien que certains clients comme boto3 se reconnectent automatiquement.

Pourquoi c'est important

Pour les ingénieurs logiciels développant des expériences IA interactives, telles que des chatbots ou des assistants vocaux, même deux secondes de retard peuvent dégrader la satisfaction utilisateur. L'architecture V2 offre une voie vers des temps de démarrage inférieurs à la seconde, mais seulement si l'application est structurée correctement. Déplacer le travail d'initialisation du gestionnaire de requêtes vers la phase de build réduit le coût par session, mais augmente l'empreinte mémoire de chaque session. Les développeurs doivent équilibrer ces compromis, en s'assurant que les données maintenues en mémoire justifient l'utilisation accrue des ressources.

Comprendre la distinction entre le temps d'initialisation et la latence de requête est critique pour une optimisation efficace. Le temps d'initialisation contribue désormais à la durée du déploiement plutôt qu'à la latence visible par l'utilisateur. En mesurant OverheadLatency et en la séparant du temps de logique applicative, les équipes peuvent identifier si les retards proviennent de la restauration de l'instantané par la plateforme ou d'un code inefficace exécuté dans le gestionnaire. Cette visibilité permet des améliorations ciblées, comme le préchargement de grands modèles ou la compilation de bytecode pendant la phase de build.

Ce que vous pouvez faire

  • Déplacer l'initialisation au démarrage : Déplacez les imports, la création de clients et le chargement de données statiques pour qu'ils se produisent avant app.run() afin qu'ils soient capturés dans l'instantané.
  • Utilisez des hooks de build pour les outils externes : Implémentez des points d'accès HTTP pour charger de gros binaires, tels que des navigateurs ou des CLIs, en mémoire pendant le processus de construction de l'instantané.
  • Gardez les données statiques en mémoire : Lisez les grands fichiers de référence dans des objets lors de l'initialisation plutôt que de les lire depuis le disque à chaque requête.
  • Gérez les connexions réseau : Fermez les connexions réseau de longue durée avant la prise de l'instantané pour prévenir les erreurs de socket obsolète lors de la restauration.
  • Compilez explicitement le bytecode : Définissez des variables d'environnement comme UV_COMPILE_BYTECODE=1 pour garantir que les dépendances sont compilées lors de l'initialisation, évitant ainsi les retards de compilation dans les nouvelles sessions.
  • Surveillez des métriques spécifiques : Suivez OverheadLatency pour mesurer le temps de restauration de la plateforme et soustrayez-le de la Latency totale pour isoler les performances de l'application.
  • #aws
  • #serverless
  • #ai-agents
  • #performance
  • #bedrock

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles