Optimización de los arranques en frío de Amazon Bedrock AgentCore V2 mediante instantáneas
Amazon Bedrock AgentCore V2 utiliza instantáneas de microVM para reducir la latencia de inicio de sesión. Los ingenieros pueden optimizar el rendimiento trasladando las tareas de inicialización a la fase de compilación.
Traducido automáticamente del original en inglés.
Amazon Web Services ha actualizado el entorno de ejecución de Amazon Bedrock AgentCore a la versión V2, introduciendo una arquitectura basada en instantáneas diseñada para acelerar los tiempos de inicio de sesión de los agentes de IA. Lanzada en noviembre de 2026, esta actualización traslada la carga de inicialización de cada nueva sesión de usuario a un proceso de compilación único, reduciendo significativamente la latencia para aplicaciones interactivas. Este cambio requiere que los desarrolladores reestructuren la forma en que sus agentes gestionan las importaciones, las conexiones de clientes y la carga de datos estáticos para aprovechar plenamente las nuevas capacidades de preservación de memoria.
Qué ocurrió
El entorno de ejecución de Amazon Bedrock AgentCore ofrece un entorno sin servidores donde cada sesión de agente se ejecuta en una microVM aislada. En la anterior arquitectura V1, cada nueva sesión requería extraer una imagen de contenedor de Amazon Elastic Container Registry, iniciar el contenedor y ejecutar código de inicialización antes de procesar la primera solicitud. Este proceso implicaba que los tiempos de arranque en frío crecían directamente con el tamaño de la imagen, generando retrasos notables para los usuarios que esperaban la primera respuesta.
V2 cambia este flujo realizando el trabajo pesado solo una vez. Cuando se crea o actualiza un entorno de ejecución, la plataforma inicia el contenedor, espera una comprobación de estado saludable y luego congela el estado de la microVM en una instantánea. Esta instantánea incluye el estado de memoria y disco de la aplicación inicializada. Para las sesiones posteriores, la plataforma simplemente restaura esta instantánea en una nueva microVM, permitiendo que el proceso continúe exactamente desde donde lo dejó. Este enfoque recupera la memoria no utilizada y garantiza que los tiempos de inicio de sesión sean más rápidos y consistentes, aunque aumenta el tiempo necesario para la creación o actualización del entorno de ejecución.
Cómo funciona
El mecanismo central depende de capturar el estado de la aplicación después de la inicialización pero antes de que comience a manejar el tráfico de usuarios. Durante la fase de compilación, el entorno de ejecución limpia la caché de archivos del sistema operativo para mantener la instantánea pequeña, y luego congela la microVM. Cuando llega una nueva sesión, se restaura la instantánea, trayendo todas las importaciones, objetos y clientes de vuelta a la memoria instantáneamente. Sin embargo, las lecturas de archivos no se conservan porque la caché fue limpiada; en su lugar, los archivos de la imagen del contenedor se obtienen bajo demanda cuando se accede a ellos por primera vez.
Este comportamiento crea características de rendimiento distintas para diferentes tipos de trabajo. Los datos residentes en memoria, como las bibliotecas cargadas y los clientes instanciados, están disponibles a velocidad de memoria inmediatamente. Las conexiones de red, no obstante, quedan obsoletas tras la restauración y deben reconectarse. Los desarrolladores deben distinguir entre el trabajo estático, que puede ser capturado en una instantánea, y los datos dinámicos, que no pueden. Para ayudar con configuraciones complejas, V2 introduce ganchos de compilación (build hooks) que permiten a los agentes preparar herramientas externas o cargar archivos grandes en la memoria durante el proceso de creación de la instantánea, asegurando que estén listos para uso inmediato al restaurar la sesión.
Detalles clave
- Momento de la instantánea: La instantánea se construye una vez por operación de creación o actualización, tardando unos minutos, en lugar de hacerlo en cada inicio de sesión.
- Preservación de memoria: Los objetos e importaciones mantenidos en memoria en el momento de la instantánea se restauran instantáneamente, mientras que las cachés de archivos se limpian para minimizar el tamaño de la instantánea.
- Carga diferida de archivos: Los archivos de la imagen del contenedor se obtienen en la primera lectura, lo que significa que los archivos grandes no mantenidos en memoria incurrirán en latencia en el primer acceso.
- Ganchos de compilación: Nuevos puntos finales HTTP permiten a los agentes realizar tareas adicionales de calentamiento, como cargar binarios de navegadores o herramientas CLI, durante la construcción de la instantánea.
- Métricas: La sobrecarga de la plataforma se rastrea mediante
OverheadLatencyen CloudWatch, mientras que el tiempo total hasta el primer byte se rastrea medianteLatency. - Manejo de red: Los sockets de red obsoletos deben cerrarse antes de tomar la instantánea para evitar errores de conexión, aunque algunos clientes como
boto3se reconectan automáticamente.
Por qué importa
Para los ingenieros de software que construyen experiencias de IA interactivas, como chatbots o asistentes de voz, incluso dos segundos de retraso pueden degradar la satisfacción del usuario. La arquitectura V2 ofrece un camino hacia tiempos de inicio inferiores al segundo, pero solo si la aplicación está estructurada correctamente. Trasladar el trabajo de inicialización del manejador de solicitudes a la fase de compilación reduce el costo por sesión, pero aumenta la huella de memoria de cada sesión. Los desarrolladores deben equilibrar estos compromisos, asegurando que los datos mantenidos en memoria justifiquen el mayor uso de recursos.
Comprender la distinción entre el tiempo de inicialización y la latencia de solicitud es crítico para una optimización efectiva. El tiempo de inicialización ahora contribuye a la duración del despliegue en lugar de la latencia visible para el usuario. Al medir OverheadLatency y separarla del tiempo de lógica de aplicación, los equipos pueden identificar si los retrasos provienen de la restauración de la instantánea por parte de la plataforma o de código ineficiente ejecutándose dentro del manejador. Esta visibilidad permite mejoras específicas, como precargar modelos grandes o compilar bytecode durante la fase de compilación.
Qué puedes hacer
- Trasladar la inicialización al inicio: Mueva las importaciones, la creación de clientes y la carga de datos estáticos para que ocurran antes de
app.run()para que sean capturados en la instantánea. - Usar ganchos de compilación para herramientas externas: Implemente puntos finales HTTP para cargar binarios grandes, como navegadores o CLIs, en la memoria durante el proceso de construcción de la instantánea.
- Mantener datos estáticos en memoria: Lea archivos de referencia grandes en objetos durante la inicialización en lugar de leerlos desde el disco en cada solicitud.
- Gestionar conexiones de red: Cierre las conexiones de red de larga duración antes de que se tome la instantánea para prevenir errores de socket obsoleto tras la restauración.
- Compilar bytecode explícitamente: Establezca variables de entorno como
UV_COMPILE_BYTECODE=1para asegurar que las dependencias se compilen durante la inicialización, evitando retrasos de compilación en nuevas sesiones. - Monitorear métricas específicas: Rastree
OverheadLatencypara medir el tiempo de restauración de la plataforma y réstelo de laLatencytotal para aislar el rendimiento de la aplicación.



