Construir con IA

Reducción del 71% en los costes de tokens de agentes LLM mediante descarga a S3 y paginación

Ingenieros de AWS redujeron la latencia un 80% y el uso de tokens un 71% en agentes de Amazon Bedrock al descargar grandes cargas JSON a S3 e implementar la paginación de resultados bajo demanda.

Ilustración de la descarga de datos JSON pesados al almacenamiento en la nube
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Ingenieros de Amazon Web Services han publicado un análisis técnico detallado sobre cómo optimizaron un agente de IA en producción para Flightscape, una plataforma de operaciones aéreas. Mediante la implementación de tres estrategias específicas para manejar entradas JSON de gran tamaño, el equipo logró reducir el consumo de tokens hasta un 71% y disminuir la latencia media hasta un 80%. Este trabajo, publicado el 17 de noviembre de 2026, ofrece una guía para desarrolladores que construyen sistemas agénticos que enfrentan limitaciones en la ventana de contexto y altos costes de inferencia.

Qué ocurrió

El equipo de Flightscape creó un agente de Optimización de Calendarios de Formación utilizando LangGraph y Amazon Bedrock AgentCore. Este agente ayuda a las aerolíneas a verificar las asignaciones de formación de tripulación frente a reglas empresariales complejas, procesando entradas que pueden superar los 20 megabytes. El sistema integra más de 40 herramientas y maneja conjuntos masivos de datos estructurados, incluyendo solicitudes de optimización, respuestas e informes de validación. Aunque funcionalmente robusto, la implementación inicial sufría de graves cuellos de botella de rendimiento. Las latencias medias por solicitud superaban los 15 segundos y el coste de ejecutar el agente era prohibitivo debido al uso excesivo de tokens.

El problema central era arquitectónico: cada invocación de herramienta inyectaba su carga completa en la ventana de contexto del modelo de lenguaje grande (LLM). A medida que las conversaciones se extendían durante múltiples turnos, estos objetos JSON de gran tamaño se acumulaban, llenando la ventana de contexto antes de que el agente pudiera completar su razonamiento. Para resolver esto, el equipo rearquitecturó la forma en que el agente gestiona el estado y recupera datos. Abandonaron el mantenimiento de artefactos pesados en línea dentro del estado conversacional y adoptaron en su lugar un enfoque híbrido que utiliza Amazon Simple Storage Service (S3) para el almacenamiento y referencias ligeras para la gestión de sesiones.

Cómo funciona

La optimización se basa en tres estrategias compositivas que separan los datos pesados del contexto de razonamiento activo. En primer lugar, el equipo implementó un patrón de deshidratación e hidratación para el estado de la sesión. En lugar de almacenar cargas JSON sin procesar en la memoria de Amazon Bedrock AgentCore, el agente almacena solo referencias con dirección de contenido. Cuando comienza un turno, la función hydrate_state() restaura los datos ligeros de la sesión. Al final de un turno, dehydrate_state() elimina las cargas pesadas, las sube a S3 y guarda únicamente las claves de referencia basadas en SHA-256. Esto garantiza que las cargas idénticas no se suban dos veces, aprovechando la dirección de contenido para la idempotencia.

En segundo lugar, el equipo introdujo la paginación bajo demanda para listas de resultados extensas. Cuando una herramienta devuelve una lista que supera un tamaño de muestra específico, el resultado completo se almacena en S3. El modelo recibe solo un resumen compacto que contiene el recuento total, una pequeña muestra y un identificador de resultado. Si el agente necesita más datos, llama a la herramienta get_result_page_tool con el identificador, el desplazamiento (offset) y el límite para recuperar segmentos específicos. Esto evita que la ventana de contexto se sature con datos no utilizados.

En tercer lugar, para salidas de diccionarios de gran tamaño, el equipo utilizó la compactación basada en descriptores. En lugar de enviar diccionarios anidados textualmente, el agente genera un resumen estructural. Las listas se representan mediante su recuento y una muestra, mientras que los diccionarios anidados se resumen mediante recuentos de claves. Los valores escalares permanecen en línea. Esto permite al modelo comprender la estructura de los datos sin consumir tokens en el contenido completo, obteniendo detalles solo cuando es necesario a través del identificador de resultado.

Detalles clave

  • La optimización redujo el consumo de tokens hasta un 71% y disminuyó la latencia media hasta un 80% en una carga representativa de 23 MB.
  • La solución utiliza la memoria de Amazon Bedrock AgentCore para la persistencia ligera del estado y Amazon S3 para el almacenamiento de artefactos pesados.
  • La dirección de contenido mediante hashes SHA-256 garantiza que las cargas idénticas reutilicen objetos S3 existentes, evitando subidas redundantes.
  • Los resultados de herramientas más grandes que el umbral de muestra devuelven un identificador y un resumen, requiriendo llamadas explícitas de paginación para recuperar los datos completos.
  • La compactación de diccionarios preserva indicios estructurales como tipos de campos y recuentos, omitiendo contenido anidado verboso.
  • La arquitectura está construida con LangGraph, Python 3.12+ y boto3, ejecutándose en Amazon Bedrock con Guardrails para la validación de respuestas.

Por qué importa

Para los ingenieros que construyen agentes en producción, la gestión de la ventana de contexto suele marcar la diferencia entre un producto viable y un fracaso costoso. A medida que los agentes obtienen acceso a más herramientas y conjuntos de datos más grandes, el enfoque ingenuo de pasar cargas completas conduce a un crecimiento exponencial de costes y picos de latencia. Este estudio de caso demuestra que tratar el contexto del LLM como un recurso escaso, en lugar de un búfer infinito, es esencial para la escalabilidad. Al desacoplar el almacenamiento de datos del contexto de razonamiento, los desarrolladores pueden mantener un acceso de alta fidelidad a grandes conjuntos de datos sin pagar por cada byte en cada turno.

Las técnicas descritas aquí son independientes del marco de trabajo en principio, aunque se implementaron con LangGraph y Bedrock. El concepto de hidratar y deshidratar el estado puede aplicarse a cualquier marco de orquestación que admita almacenes de estado externos. De manera similar, la paginación de resultados y la compactación de descriptores abordan desafíos universales en el procesamiento de datos estructurados. Estos patrones permiten a los equipos construir agentes que manejan entradas a escala empresarial manteniendo los costes de inferencia predecibles y los tiempos de respuesta bajos.

Qué puedes hacer

  • Audita la estructura de estado de tu agente para identificar cargas pesadas actualmente almacenadas en línea dentro de la memoria conversacional.
  • Implementa una capa de almacenamiento con dirección de contenido utilizando S3 o un almacenamiento de objetos similar para descargar artefactos JSON grandes.
  • Reemplaza las devoluciones directas de herramientas con objetos de resumen que incluyan identificadores de resultado para listas o diccionarios de gran tamaño.
  • Construye herramientas de paginación que permitan al modelo solicitar segmentos específicos de datos utilizando desplazamientos y límites cuando sea necesario.
  • Utiliza la compactación basada en descriptores para diccionarios anidados para preservar la comprensión estructural sin inyección de contenido completo.
  • Prueba tu agente con cargas realistas de gran tamaño para medir las mejoras de latencia y el ahorro de tokens después de la refactorización.
  • #amazon bedrock
  • #llm optimization
  • #agent architecture
  • #token costs
  • #aws

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos