Le routage sensible au cache KV de SageMaker réduit la latence des LLM en suivant l'état du cache
AWS introduit le routage sensible au cache KV pour SageMaker AI, utilisant des rapports de cache en temps réel pour réduire le délai jusqu'au premier token (time-to-first-token) de jusqu'à 97 % dans les charges de travail LLM multi-tours.
Traduit automatiquement depuis l'original anglais.
Amazon Web Services a lancé le routage sensible au cache KV pour les points de terminaison en temps réel d'Amazon SageMaker AI. Cette nouvelle fonctionnalité, annoncée le 17 novembre 2026, permet à l'infrastructure de service des grands modèles de langage (LLM) de router les requêtes en fonction du contenu réellement stocké dans la mémoire GPU, plutôt que sur la base de préfixes de requête statiques. Elle s'adresse aux développeurs qui créent des assistants conversationnels et des systèmes de génération augmentée par récupération (RAG), ayant besoin de minimiser la latence et de maximiser le débit sous une charge élevée.
Ce qui s'est passé
Auparavant, SageMaker proposait un routage sensible au préfixe, qui hachait le début de la charge utile d'une requête pour diriger les prompts similaires vers la même instance. Bien qu'efficace pour les prompts système stables, cette méthode ne pouvait pas détecter quand une instance évinçait des données mises en cache en raison d'une pression sur la mémoire. Si une instance manquait de mémoire GPU et vidait son cache, le routeur continuait d'y envoyer les requêtes correspondantes, obligeant le modèle à recalculer des tokens qui n'étaient plus disponibles. Cette limitation affectait également les conversations multi-tours où la longueur du prompt dépassait le hachage de préfixe configuré, faisant atterrir les tours suivants sur différentes instances et perdant ainsi la continuité du contexte.
Le routage sensible au KV résout ce problème en établissant une boucle de rétroaction entre le conteneur du modèle et le routeur SageMaker. Le conteneur signale activement lorsqu'il stocke ou évince des entrées du cache clé-valeur (KV). SageMaker maintient un index géré de ces rapports, associant des hachages tronqués du contenu mis en cache à des instances spécifiques. Lorsqu'une nouvelle requête arrive, le point de terminaison tokenise le prompt et interroge cet index pour trouver quelle instance conserve le préfixe correspondant le plus long. Le routeur pondère ensuite la longueur de la correspondance du cache avec la charge actuelle des instances candidates, envoyant la requête à la meilleure option disponible. Si aucune instance n'a de correspondance de cache utile ou si toutes sont occupées, le système revient au routage standard sensible à la charge.
Comment cela fonctionne
Le mécanisme repose sur trois composants : le conteneur du modèle, un index de cache géré et la logique de routage. Pour activer cette fonctionnalité, les utilisateurs doivent définir la variable d'environnement SM_VLLM_KV_EVENTS_CONFIG dans leur conteneur, ce qui déclenche la publication des événements du cache KV. Ces événements mettent à jour l'index géré avec des hachages tronqués à sens unique du contenu mis en cache. Crucialement, l'index ne stocke que des pointeurs vers les instances, jamais les prompts réels, les ID de tokens ou les données tensorielles, préservant ainsi la confidentialité et minimisant la surcharge.
Lorsqu'une requête atteint le point de terminaison, le système tokenise l'entrée et vérifie l'index. Si l'Instance A conserve les 6 000 premiers tokens d'un historique de conversation de 6 200 tokens, le routeur l'identifie comme candidat principal. Cependant, si l'Instance A est actuellement surchargée, le routeur l'ignore et sélectionne la prochaine meilleure instance avec une correspondance de cache substantielle. Cet équilibrage dynamique garantit que les hits de cache sont prioritaires sans créer de goulets d'étranglement. L'index se met automatiquement à jour à mesure que la flotte évolue, supprimant les entrées des instances retirées et commençant à neuf pour les nouvelles.
Détails clés
- Gains de performance : Dans les benchmarks utilisant Llama 3.1 70B Instruct sur des instances
ml.p5.48xlarge, le routage sensible au KV a réduit le p50 time-to-first-token de jusqu'à 97 % et augmenté le débit de jusqu'à 234 % par rapport au routage aléatoire. - Taux de hit de cache : La fonctionnalité a fait passer les taux de hit du cache KV d'une base de 3–48 % à 80–93 % dans les scénarios testés de chat multi-tours et de Q&A documentaire.
- Exigences du conteneur : Elle nécessite le AWS vLLM Deep Learning Container avec vLLM 0.33.0 ou ultérieur, ou la build Amazon Linux
server-sagemaker-cuda-v2.8.0ou ultérieure, avec la mise en cache par préfixe activée. - Repli de routage : Si la recherche de cache ne donne aucun résultat ou si toutes les instances correspondantes sont occupées, le point de terminaison utilise par défaut le routage
LEAST_OUTSTANDING_REQUESTS, garantissant que les requêtes sont toujours servies. - Aucun réglage manuel : Contrairement au routage sensible au préfixe, le routage sensible au KV ne nécessite pas de configurer un paramètre
PrefixLength, car il effectue la correspondance basée sur les tokens réellement mis en cache. - Échelle minimale : La stratégie est active uniquement lorsque un point de terminaison possède au moins deux instances ou deux copies d'un composant d'inférence.
Pourquoi c'est important
Pour les équipes d'ingénierie servant des LLM, le coût et la latence liés au recalcul des mécanismes d'attention pour les longs contextes constituent des goulets d'étranglement significatifs. Les conversations multi-tours et les applications RAG partagent souvent de grandes portions de texte, telles que les instructions système ou les documents récupérés. En garantissant que ces préfixes partagés restent mis en cache sur l'instance traitant la requête, le routage sensible au KV réduit drastiquement le travail computationnel requis pour chaque nouveau token. Cette efficacité se traduit directement par des coûts d'infrastructure inférieurs et des temps de réponse plus rapides pour les utilisateurs finaux, en particulier dans les environnements à haute concurrence où la mémoire GPU est fréquemment contestée.
Cette mise à jour simplifie également la complexité opérationnelle. Les développeurs n'ont plus besoin de deviner le PrefixLength optimal pour leur charge de travail ni de s'inquiéter de l'éviction du cache invalidant leur stratégie de routage. Le système s'adapte automatiquement à l'état changeant de la mémoire GPU, offrant une solution plus robuste pour les charges de travail dynamiques. Bien que le routage sensible au préfixe reste une option viable pour les prompts simples et stables, le routage sensible au KV offre un mécanisme supérieur et auto-correctif pour les applications IA complexes et interactives.
Ce que vous pouvez faire
- Mettez à jour vos conteneurs de modèles SageMaker pour utiliser AWS vLLM Deep Learning Container v0.33.0 ou ultérieur.
- Définissez la variable d'environnement
SM_VLLM_KV_EVENTS_CONFIGdans la configuration de votre conteneur pour activer le signalement des événements de cache. - Modifiez la configuration de votre point de terminaison pour définir
RoutingStrategysurKV_AWAREdans leRoutingConfig. - Assurez-vous que votre application envoie des requêtes au format Completions ou Chat Completions compatible OpenAI pour prendre en charge la correspondance basée sur les tokens.
- Surveillez les métriques de time-to-first-token et de débit pour vérifier les améliorations des hits de cache, car les événements de repli ne sont pas encore visibles dans la console.
- Testez avec au moins deux instances pour activer la stratégie de routage, car elle n'a aucun effet sur les déploiements à instance unique.



