SageMaker KV-aware Routing senkt LLM-Latenz durch Nachverfolgung des Cache-Zustands
AWS führt KV-aware Routing für SageMaker AI ein, das Echtzeit-Cache-Berichte nutzt, um die Zeit bis zum ersten Token (Time-to-First-Token) bei Multi-Turn-LLM-Workloads um bis zu 97 % zu reduzieren.
Automatisch aus dem englischen Original übersetzt.
Amazon Web Services hat KV cache-aware Routing für Amazon SageMaker AI Real-Time Endpoints eingeführt. Diese neue Funktion, angekündigt am 17. November 2026, ermöglicht es der Infrastruktur zur Bereitstellung großer Sprachmodelle (LLMs), Anfragen basierend auf dem tatsächlichen Inhalt im GPU-Speicher zu routen, anstatt statischer Präfixe der Anfrage. Sie richtet sich an Entwickler, die Chat-Assistenten und Retrieval-Augmented Generation (RAG)-Systeme erstellen und unter hoher Last Latenz minimieren sowie Durchsatz maximieren müssen.
Was ist passiert?
Bisher bot SageMaker prefix-aware Routing an, das den Anfang einer Anfrage-Nutzlast hashte, um ähnliche Prompts an dieselbe Instanz weiterzuleiten. Während dies für stabile System-Prompts effektiv war, konnte diese Methode nicht erkennen, wenn eine Instanz aufgrund von Speicherdruck gecachte Daten verworfen hatte. Wenn einer Instanz der GPU-Speicher ausging und sie ihren Cache leerte, sendete der Router weiterhin passende Anfragen dorthin, was das Modell zwang, Tokens neu zu berechnen, die nicht mehr verfügbar waren. Diese Einschränkung beeinträchtigte auch Multi-Turn-Konversationen, bei denen die Prompt-Länge über den konfigurierten Prefix-Hash hinauswuchs, sodass nachfolgende Runden auf unterschiedliche Instanzen landeten und die Kontinuität des Kontexts verloren ging.
KV-aware Routing löst dieses Problem durch die Einrichtung eines Feedback-Loops zwischen dem Modell-Container und dem SageMaker-Router. Der Container meldet aktiv, wann er Key-Value-(KV)-Cache-Einträge speichert oder entfernt. SageMaker pflegt einen verwalteten Index dieser Berichte, der gekürzte Hashes des gecachten Inhalts bestimmten Instanzen zuordnet. Wenn eine neue Anfrage eingeht, tokenisiert der Endpoint den Prompt und fragt diesen Index ab, um herauszufinden, welche Instanz das längste übereinstimmende Präfix hält. Der Router wägt dann die Länge des Cache-Matches gegen die aktuelle Auslastung der Kandidaten-Instanzen ab und sendet die Anfrage an die beste verfügbare Option. Falls keine Instanz einen nützlichen Cache-Match hat oder alle ausgelastet sind, fällt das System auf standardmäßiges load-aware Routing zurück.
Wie es funktioniert
Der Mechanismus basiert auf drei Komponenten: dem Modell-Container, einem verwalteten Cache-Index und der Routing-Logik. Um dies zu aktivieren, müssen Benutzer die Umgebungsvariable SM_VLLM_KV_EVENTS_CONFIG in ihrem Container setzen, was die Veröffentlichung von KV-Cache-Ereignissen auslöst. Diese Ereignisse aktualisieren den verwalteten Index mit einseitigen, gekürzten Hashes des gecachten Inhalts. Entscheidend ist, dass der Index nur Zeiger auf Instanzen speichert, niemals die tatsächlichen Prompts, Token-IDs oder Tensor-Daten, was die Privatsphäre wahrt und Overhead minimiert.
Wenn eine Anfrage den Endpoint erreicht, tokenisiert das System die Eingabe und prüft den Index. Wenn Instanz A die ersten 6.000 Tokens eines 6.200-Token-Konversationsverlaufs hält, identifiziert der Router sie als primären Kandidaten. Ist Instanz A jedoch aktuell überlastet, überspringt der Router sie und wählt die nächstbeste Instanz mit einem erheblichen Cache-Match. Dieses dynamische Balancing stellt sicher, dass Cache-Hits priorisiert werden, ohne Engpässe zu erzeugen. Der Index aktualisiert sich automatisch, wenn die Flotte skaliert wird, entfernt Einträge für gelöschte Instanzen und beginnt bei neuen Instanzen von vorne.
Wichtige Details
- Leistungssteigerungen: In Benchmarks mit Llama 3.1 70B Instruct auf
ml.p5.48xlarge-Instanzen reduzierte KV-aware Routing die p50 Time-to-First-Token um bis zu 97 % und erhöhte den Durchsatz um bis zu 234 % im Vergleich zu Random Routing. - Cache-Hit-Rates: Die Funktion steigerte die KV-Cache-Hit-Rates von einer Baseline von 3–48 % auf 80–93 % in getesteten Multi-Turn-Chat- und Dokument-Q&A-Szenarien.
- Container-Anforderungen: Es wird der AWS vLLM Deep Learning Container mit vLLM 0.33.0 oder neuer benötigt, oder der Amazon Linux Build
server-sagemaker-cuda-v2.8.0oder neuer, mit aktiviertem Prefix Caching. - Routing-Fallback: Wenn die Cache-Suche keine Treffer liefert oder alle passenden Instanzen beschäftigt sind, verwendet der Endpoint standardmäßig
LEAST_OUTSTANDING_REQUESTSRouting, um sicherzustellen, dass Anfragen immer bedient werden. - Kein manuelles Tuning: Im Gegensatz zu prefix-aware Routing erfordert KV-aware Routing keine Konfiguration des Parameters
PrefixLength, da es basierend auf tatsächlich gecachten Tokens matcht. - Mindestskala: Die Strategie ist nur aktiv, wenn ein Endpoint mindestens zwei Instanzen oder zwei Kopien einer Inferenzkomponente hat.
Warum es wichtig ist
Für Engineering-Teams, die LLMs bereitstellen, sind die Kosten und die Latenz der Neuberechnung von Attention-Mechanismen für lange Kontexte erhebliche Engpässe. Multi-Turn-Konversationen und RAG-Anwendungen teilen oft große Textanteile, wie z. B. Systemanweisungen oder abgerufene Dokumente. Indem KV-aware Routing sicherstellt, dass diese gemeinsamen Präfixe auf der Instanz gecacht bleiben, die die Anfrage bearbeitet, reduziert es den Rechenaufwand für jedes neue Token drastisch. Diese Effizienz führt direkt zu niedrigeren Infrastrukturkosten und schnelleren Antwortzeiten für Endbenutzer, insbesondere in Hochkonkurrenz-Umgebungen, in denen GPU-Speicher häufig umstritten ist.
Dieses Update vereinfacht auch die operative Komplexität. Entwickler müssen nicht mehr raten, welches optimale PrefixLength für ihren Workload geeignet ist, oder sich Sorgen machen, dass Cache-Eviction ihre Routing-Strategie ungültig macht. Das System passt sich automatisch an den sich ändernden Zustand des GPU-Speichers an und bietet so eine robustere Lösung für dynamische Workloads. Während prefix-aware Routing eine praktikable Option für einfachere, stabile Prompts bleibt, bietet KV-aware Routing einen überlegenen, selbstkorrigierenden Mechanismus für komplexe, interaktive KI-Anwendungen.
Was Sie tun können
- Aktualisieren Sie Ihre SageMaker-Modell-Container auf AWS vLLM Deep Learning Container v0.33.0 oder neuer.
- Setzen Sie die Umgebungsvariable
SM_VLLM_KV_EVENTS_CONFIGin Ihrer Container-Konfiguration, um die Berichterstattung von Cache-Ereignissen zu aktivieren. - Ändern Sie Ihre Endpoint-Konfiguration, indem Sie
RoutingStrategyin derRoutingConfigaufKV_AWAREsetzen. - Stellen Sie sicher, dass Ihre Anwendung Anfragen im OpenAI-kompatiblen Completions- oder Chat Completions-Format sendet, um Token-basiertes Matching zu unterstützen.
- Überwachen Sie Metriken für Time-to-First-Token und Durchsatz, um Verbesserungen der Cache-Hit-Rates zu überprüfen, da Fallback-Ereignisse derzeit noch nicht in der Konsole sichtbar sind.
- Testen Sie mit mindestens zwei Instanzen, um die Routing-Strategie zu aktivieren, da sie bei Einzelinstanz-Bereitstellungen keine Wirkung zeigt.



