El enrutamiento consciente de KV de SageMaker reduce la latencia de los LLM al rastrear el estado de la caché
AWS presenta el enrutamiento consciente de KV para SageMaker AI, utilizando informes de caché en tiempo real para reducir el tiempo hasta el primer token (TTFT) hasta un 97% en cargas de trabajo de LLM con múltiples turnos.
Traducido automáticamente del original en inglés.
Amazon Web Services ha lanzado el enrutamiento consciente de la caché KV para los endpoints en tiempo real de Amazon SageMaker AI. Esta nueva función, anunciada el 17 de noviembre de 2026, permite que la infraestructura de servicio de modelos de lenguaje grandes (LLM) enrute las solicitudes basándose en el contenido real almacenado en la memoria GPU, en lugar de prefijos estáticos de solicitud. Está dirigida a desarrolladores que construyen asistentes de chat y sistemas de generación aumentada por recuperación (RAG), quienes necesitan minimizar la latencia y maximizar el rendimiento bajo alta carga.
Qué pasó
Anteriormente, SageMaker ofrecía enrutamiento consciente de prefijo, que generaba un hash del inicio de la carga útil de la solicitud para dirigir prompts similares a la misma instancia. Si bien era efectivo para prompts de sistema estables, este método no podía detectar cuándo una instancia expulsaba datos de la caché debido a la presión de memoria. Si una instancia se quedaba sin memoria GPU y limpiaba su caché, el router seguía enviando solicitudes coincidentes allí, obligando al modelo a recalcular tokens que ya no estaban disponibles. Esta limitación también afectaba a las conversaciones de múltiples turnos donde la longitud del prompt superaba el hash de prefijo configurado, haciendo que los turnos posteriores cayeran en instancias diferentes y perdieran la continuidad del contexto.
El enrutamiento consciente de KV resuelve esto estableciendo un bucle de retroalimentación entre el contenedor del modelo y el router de SageMaker. El contenedor informa activamente cuando almacena o expulsa entradas de la caché clave-valor (KV). SageMaker mantiene un índice gestionado de estos informes, mapeando hashes truncados del contenido en caché a instancias específicas. Cuando llega una nueva solicitud, el endpoint tokeniza el prompt y consulta este índice para encontrar qué instancia posee el prefijo coincidente más largo. Luego, el router evalúa la longitud de coincidencia de la caché frente a la carga actual de las instancias candidatas, enviando la solicitud a la mejor opción disponible. Si ninguna instancia tiene una coincidencia de caché útil o todas están ocupadas, el sistema recurre al enrutamiento estándar consciente de la carga.
Cómo funciona
El mecanismo se basa en tres componentes: el contenedor del modelo, un índice de caché gestionado y la lógica de enrutamiento. Para habilitar esto, los usuarios deben establecer la variable de entorno SM_VLLM_KV_EVENTS_CONFIG en su contenedor, lo que activa la publicación de eventos de la caché KV. Estos eventos actualizan el índice gestionado con hashes truncados unidireccionales del contenido en caché. Es crucial destacar que el índice solo almacena punteros a instancias, nunca los prompts reales, IDs de tokens ni datos de tensores, preservando la privacidad y minimizando la sobrecarga.
Cuando una solicitud llega al endpoint, el sistema tokeniza la entrada y consulta el índice. Si la Instancia A contiene los primeros 6.000 tokens de un historial de conversación de 6.200 tokens, el router la identifica como la candidata principal. Sin embargo, si la Instancia A está actualmente sobrecargada, el router la omite y selecciona la siguiente mejor instancia con una coincidencia sustancial de caché. Este equilibrio dinámico asegura que las coincidencias de caché tengan prioridad sin crear cuellos de botella. El índice se actualiza automáticamente a medida que la flota escala, eliminando entradas de instancias removidas y comenzando desde cero para las nuevas.
Detalles clave
- Ganancias de rendimiento: En pruebas de referencia usando Llama 3.1 70B Instruct en instancias
ml.p5.48xlarge, el enrutamiento consciente de KV redujo el p50 del tiempo hasta el primer token (TTFT) hasta un 97% y aumentó el rendimiento hasta un 234% en comparación con el enrutamiento aleatorio. - Tasas de acierto de caché: La función elevó las tasas de acierto de la caché KV desde una base de 3–48% a 80–93% en escenarios probados de chat de múltiples turnos y preguntas sobre documentos.
- Requisitos del contenedor: Requiere el AWS vLLM Deep Learning Container con vLLM 0.33.0 o posterior, o la compilación de Amazon Linux
server-sagemaker-cuda-v2.8.0o posterior, con el almacenamiento en caché de prefijos habilitado. - Enrutamiento de respaldo: Si la búsqueda en la caché no produce coincidencias o todas las instancias coincidentes están ocupadas, el endpoint recurre al enrutamiento
LEAST_OUTSTANDING_REQUESTS, asegurando que las solicitudes siempre sean atendidas. - Sin ajuste manual: A diferencia del enrutamiento consciente de prefijo, el enrutamiento consciente de KV no requiere configurar un parámetro
PrefixLength, ya que coincide basándose en los tokens realmente en caché. - Escala mínima: La estrategia está activa solo cuando un endpoint tiene al menos dos instancias o dos copias de un componente de inferencia.
Por qué importa
Para los equipos de ingeniería que sirven LLM, el costo y la latencia de recalcular los mecanismos de atención para contextos largos son cuellos de botella significativos. Las conversaciones de múltiples turnos y las aplicaciones RAG a menudo comparten grandes porciones de texto, como instrucciones de sistema o documentos recuperados. Al asegurar que estos prefijos compartidos permanezcan en caché en la instancia que maneja la solicitud, el enrutamiento consciente de KV reduce drásticamente el trabajo computacional requerido para cada nuevo token. Esta eficiencia se traduce directamente en menores costos de infraestructura y tiempos de respuesta más rápidos para los usuarios finales, particularmente en entornos de alta concurrencia donde la memoria GPU es frecuentemente disputada.
Esta actualización también simplifica la complejidad operativa. Los desarrolladores ya no necesitan adivinar el PrefixLength óptimo para su carga de trabajo ni preocuparse por que la expulsión de la caché invalide su estrategia de enrutamiento. El sistema se adapta automáticamente al estado cambiante de la memoria GPU, proporcionando una solución más robusta para cargas de trabajo dinámicas. Aunque el enrutamiento consciente de prefijo sigue siendo una opción viable para prompts simples y estables, el enrutamiento consciente de KV ofrece un mecanismo superior y autocorrectivo para aplicaciones de IA complejas e interactivas.
Qué puede hacer
- Actualice sus contenedores de modelos de SageMaker para usar AWS vLLM Deep Learning Container v0.33.0 o posterior.
- Establezca la variable de entorno
SM_VLLM_KV_EVENTS_CONFIGen la configuración de su contenedor para habilitar el informe de eventos de caché. - Modifique la configuración de su endpoint para establecer
RoutingStrategyenKV_AWAREdentro deRoutingConfig. - Asegúrese de que su aplicación envíe solicitudes en formato Completions o Chat Completions compatible con OpenAI para apoyar la coincidencia basada en tokens.
- Monitoree las métricas de tiempo hasta el primer token (TTFT) y rendimiento para verificar las mejoras en las tasas de acierto de caché, ya que los eventos de respaldo aún no son visibles en la consola.
- Pruebe con al menos dos instancias para activar la estrategia de enrutamiento, ya que no tiene efecto en despliegues de instancia única.



