Senkung der Token-Kosten von LLM-Agenten um 71 % durch S3-Auslagerung und Paging
AWS-Ingenieure reduzierten die Latenz um 80 % und den Token-Verbrauch um 71 % bei Amazon Bedrock Agenten, indem sie große JSON-Nutzdaten auf S3 auslagerten und ein bedarfsgerechtes Ergebnis-Paging implementierten.
Automatisch aus dem englischen Original übersetzt.
Ingenieure von Amazon Web Services haben eine technische Detailanalyse veröffentlicht, in der sie beschreiben, wie sie einen produktiven KI-Agenten für Flightscape, eine Plattform für den Flugbetrieb, optimiert haben. Durch die Implementierung dreier spezifischer Strategien zur Verarbeitung großer JSON-Eingaben konnte das Team den Token-Verbrauch um bis zu 71 % senken und die durchschnittliche Latenz um bis zu 80 % reduzieren. Die am 17. November 2026 veröffentlichte Arbeit bietet Entwicklern, die agentische Systeme mit Kontextfenster-Limits und hohen Inferenzkosten bauen, einen Bauplan.
Was passiert ist
Das Flightscape-Team hat einen Agenten zur Optimierung von Schulungsplänen entwickelt, der LangGraph und Amazon Bedrock AgentCore nutzt. Dieser Agent unterstützt Fluggesellschaften dabei, Zuweisungen für Crew-Schulungen gegen komplexe Geschäftsregeln zu überprüfen, wobei Eingaben verarbeitet werden, die 20 Megabyte überschreiten können. Das System integriert über 40 Tools und handhabt massive strukturierte Datensätze, einschließlich Optimierungsanfragen, Antworten und Validierungsberichte. Obwohl funktional robust, litt die ursprüngliche Implementierung unter schweren Leistungsengpässen. Die durchschnittlichen Anfrage-Latenzen lagen bei über 15 Sekunden, und die Kosten für den Betrieb des Agenten waren aufgrund des übermäßigen Token-Verbrauchs prohibitiv hoch.
Das Kernproblem war architektonischer Natur: Jeder Tool-Aufruf injizierte seine vollständige Nutzlast in das Kontextfenster des großen Sprachmodells. Wenn sich Gespräche über mehrere Runden erstreckten, kumulierten diese großen JSON-Objekte und füllten das Kontextfenster, bevor der Agent sein Schlussfolgern abschließen konnte. Um dies zu lösen, hat das Team die Art und Weise, wie der Agent Zustände verwaltet und Daten abruft, neu konzipiert. Man entfernte sich davon, schwere Artefakte inline im Gesprächszustand zu halten, und adoptierte stattdessen einen hybriden Ansatz, der Amazon Simple Storage Service (S3) für die Speicherung und leichte Referenzen für das Sitzungsmanagement nutzt.
Wie es funktioniert
Die Optimierung basiert auf drei kombinierbaren Strategien, die schwere Daten vom aktiven Schlussfolgerungskontext trennen. Erstens implementierte das Team ein Dehydrations- und Hydrations-Muster für den Sitzungszustand. Anstatt rohe JSON-Nutzlasten im Amazon Bedrock AgentCore-Speicher abzulegen, speichert der Agent nur inhaltsadressierte Referenzen. Zu Beginn einer Runde stellt die Funktion hydrate_state() leichte Sitzungsdaten wieder her. Am Ende einer Runde entfernt dehydrate_state() schwere Nutzlasten, lädt sie auf S3 hoch und speichert nur die SHA-256-basierten Referenzschlüssel. Dies stellt sicher, dass identische Nutzlasten nicht doppelt hochgeladen werden, indem Content Addressing für Idempotenz genutzt wird.
Zweitens führte das Team bedarfsgerechtes Paging für große Listen-Ergebnisse ein. Wenn ein Tool eine Liste zurückgibt, die eine bestimmte Stichprobengröße überschreitet, wird das vollständige Ergebnis auf S3 gespeichert. Das Modell erhält nur eine kompakte Zusammenfassung, die die Gesamtanzahl, eine kleine Stichprobe und einen Ergebnis-Handle enthält. Wenn der Agent mehr Daten benötigt, ruft er ein get_result_page_tool mit Handle, Offset und Limit auf, um spezifische Datenausschnitte abzurufen. Dies verhindert, dass das Kontextfenster mit ungenutzten Daten geflutet wird.
Drittens nutzte das Team für übergroße Dictionary-Ausgaben eine deskriptorbasierte Verdichtung. Anstatt verschachtelte Dictionaries wortwörtlich zu senden, generiert der Agent eine strukturelle Zusammenfassung. Listen werden durch ihre Anzahl und eine Stichprobe repräsentiert, während verschachtelte Dictionaries durch Schlüsselanzahlen zusammengefasst werden. Skalarwerte bleiben inline. Dies ermöglicht es dem Modell, die Struktur der Daten zu verstehen, ohne Tokens für den vollständigen Inhalt zu verbrauchen, und Details nur dann über den Ergebnis-Handle abzurufen, wenn dies notwendig ist.
Wichtige Details
- Die Optimierung reduzierte den Token-Verbrauch um bis zu 71 % und die durchschnittliche Latenz um bis zu 80 % bei einem repräsentativen 23-MB-Nutzlast.
- Die Lösung nutzt Amazon Bedrock AgentCore-Speicher für leichte Zustands-Persistenz und Amazon S3 für die Speicherung schwerer Artefakte.
- Content Addressing über SHA-256-Hashes stellt sicher, dass identische Nutzlasten vorhandene S3-Objekte wiederverwenden und redundante Uploads vermeiden.
- Tool-Ergebnisse, die größer als der Stichproben-Schwellenwert sind, geben einen Handle und eine Zusammenfassung zurück, was explizite Paging-Aufrufe erfordert, um vollständige Daten abzurufen.
- Die Dictionary-Verdichtung bewahrt strukturelle Hinweise wie Feldtypen und -anzahlen, während ausführlicher verschachtelter Inhalt weggelassen wird.
- Die Architektur wurde mit LangGraph, Python 3.12+ und boto3 erstellt und läuft auf Amazon Bedrock mit Guardrails zur Antwortvalidierung.
Warum das wichtig ist
Für Ingenieure, die produktive Agenten bauen, ist das Management des Kontextfensters oft der Unterschied zwischen einem tragfähigen Produkt und einem kostspieligen Misserfolg. Da Agenten Zugang zu mehr Tools und größeren Datensätzen erhalten, führt der naive Ansatz, vollständige Nutzlasten zu übergeben, zu exponentiellem Kostenwachstum und Latenzspitzen. Diese Fallstudie zeigt, dass es für die Skalierbarkeit entscheidend ist, den LLM-Kontext als knappe Ressource und nicht als unbegrenzten Puffer zu betrachten. Durch die Entkopplung der Datenspeicherung vom Schlussfolgerungskontext können Entwickler hochpräzisen Zugriff auf große Datensätze beibehalten, ohne für jedes Byte in jeder Runde zu zahlen.
Die hier beschriebenen Techniken sind im Prinzip framework-agnostisch, obwohl sie mit LangGraph und Bedrock implementiert wurden. Das Konzept der Hydration und Dehydration von Zuständen kann auf jedes Orchestrierungs-Framework angewendet werden, das externe Zustandsspeicher unterstützt. Ebenso adressieren Ergebnis-Paging und Deskriptor-Verdichtung universelle Herausforderungen bei der Verarbeitung strukturierter Daten. Diese Muster ermöglichen es Teams, Agenten zu bauen, die Eingaben im Enterprise-Maßstab handhaben, während die Inferenzkosten vorhersehbar und die Antwortzeiten niedrig bleiben.
Was Sie tun können
- Überprüfen Sie die Zustandsstruktur Ihres Agenten, um schwere Nutzlasten zu identifizieren, die derzeit inline im Gesprächsspeicher gespeichert sind.
- Implementieren Sie eine inhaltsadressierte Speicherschicht unter Verwendung von S3 oder ähnlichem Objektspeicher, um große JSON-Artefakte auszulagern.
- Ersetzen Sie direkte Tool-Rückgaben durch Zusammenfassungsobjekte, die Ergebnis-Handles für übergroße Listen oder Dictionaries enthalten.
- Bauen Sie Paging-Tools, die es dem Modell ermöglichen, spezifische Datenausschnitte unter Verwendung von Offsets und Limits anzufordern, wenn nötig.
- Verwenden Sie deskriptorbasierte Verdichtung für verschachtelte Dictionaries, um das strukturelle Verständnis ohne vollständige Inhaltsinjektion zu bewahren.
- Testen Sie Ihren Agenten mit realistischen großen Nutzlasten, um nach dem Refactoring Latenzverbesserungen und Token-Einsparungen zu messen.



