Mit KI entwickeln

Optimierung der Cold Starts von Amazon Bedrock AgentCore V2 durch Snapshotting

Amazon Bedrock AgentCore V2 nutzt MicroVM-Snapshots, um die Latenz beim Starten von Sitzungen zu reduzieren. Ingenieure können die Leistung optimieren, indem sie Initialisierungsarbeiten in die Build-Phase verlagern.

Ein Glaswürfel mit einer eingefrorenen Platine darin, der einen MicroVM-Snapshot darstellt, der Datenströme freisetzt.
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Amazon Web Services hat die Amazon Bedrock AgentCore-Laufzeitumgebung auf Version V2 aktualisiert und eine snapshot-basierte Architektur eingeführt, die die Startzeiten für KI-Agenten beschleunigen soll. Das im November 2026 veröffentlichte Update verlagert die Last der Initialisierung von jeder neuen Benutzersitzung auf einen einmaligen Build-Prozess, was die Latenz für interaktive Anwendungen erheblich reduziert. Diese Änderung erfordert von Entwicklern, wie ihre Agenten Importe, Client-Verbindungen und das Laden statischer Daten handhaben, neu zu strukturieren, um die neuen Fähigkeiten zur Speicherkonservierung vollständig nutzen zu können.

Was passiert ist

Die Amazon Bedrock AgentCore-Laufzeitumgebung stellt eine serverlose Umgebung bereit, in der jede Agentensitzung in einer isolierten MicroVM ausgeführt wird. In der vorherigen V1-Architektur musste bei jeder neuen Sitzung ein Container-Image aus dem Amazon Elastic Container Registry geladen, der Container gestartet und der Initialisierungscode ausgeführt werden, bevor die erste Anfrage bearbeitet werden konnte. Dieser Prozess führte dazu, dass die Cold-Start-Zeiten direkt mit der Image-Größe anstiegen, was zu spürbaren Verzögerungen für Benutzer führte, die auf die erste Antwort warteten.

V2 ändert diesen Ablauf, indem die rechenintensiven Aufgaben nur einmal ausgeführt werden. Wenn eine Laufzeitumgebung erstellt oder aktualisiert wird, startet die Plattform den Container, wartet auf einen erfolgreichen Ping und friert dann den Zustand der MicroVM in einem Snapshot ein. Dieser Snapshot umfasst den Speicher- und Disk-Zustand der initialisierten Anwendung. Für nachfolgende Sitzungen stellt die Plattform diesen Snapshot einfach in einer neuen MicroVM wieder her, sodass der Prozess genau dort fortgesetzt werden kann, wo er unterbrochen wurde. Dieser Ansatz gewinnt ungenutzten Speicher zurück und sorgt dafür, dass die Sitzungsstartzeiten schneller und konsistenter sind, erhöht jedoch die Zeit, die für die Erstellung oder Aktualisierung der Laufzeitumgebung benötigt wird.

Wie es funktioniert

Der Kernmechanismus basiert darauf, den Zustand der Anwendung nach der Initialisierung, aber vor der Bearbeitung des Benutzer-Traffics zu erfassen. Während der Build-Phase leert die Laufzeitumgebung den Dateicache des Betriebssystems, um den Snapshot klein zu halten, und friert dann die MicroVM ein. Wenn eine neue Sitzung eingeht, wird der Snapshot wiederhergestellt, wodurch alle Imports, Objekte und Clients sofort in den Speicher zurückkehren. Datei-Lesevorgänge werden jedoch nicht übernommen, da der Cache geleert wurde; stattdessen werden Dateien aus dem Container-Image lazy geladen, wenn sie zum ersten Mal zugegriffen werden.

Dieses Verhalten erzeugt unterschiedliche Leistungsmerkmale für verschiedene Arten von Workloads. Im Speicher residente Daten, wie geladene Bibliotheken und instanziierte Clients, stehen sofort mit Speichergeschwindigkeit zur Verfügung. Netzwerkverbindungen werden jedoch nach der Wiederherstellung ungültig (stale) und müssen erneut hergestellt werden. Entwickler müssen zwischen statischen Arbeiten unterscheiden, die gesnapshottet werden können, und dynamischen Daten, die dies nicht können. Um komplexe Setups zu unterstützen, führt V2 Build-Hooks ein, die es Agenten ermöglichen, externe Tools vorzubereiten oder große Dateien während des Snapshot-Erstellungsprozesses in den Speicher zu laden, damit sie bei der Sitzungs-Wiederherstellung sofort einsatzbereit sind.

Wichtige Details

  • Snapshot-Zeitpunkt: Der Snapshot wird einmal pro Erstellungs- oder Aktualisierungsvorgang gebaut und dauert einige Minuten, anstatt bei jedem Sitzungsstart erstellt zu werden.
  • Speicherkonservierung: Objekte und Imports, die zum Zeitpunkt des Snapshots im Speicher gehalten werden, werden sofort wiederhergestellt, während Dateicaches geleert werden, um die Snapshot-Größe zu minimieren.
  • Lazy File Loading: Dateien aus dem Container-Image werden beim ersten Lesen abgerufen, was bedeutet, dass große Dateien, die nicht im Speicher gehalten werden, bei der ersten Zugriffen Latenz verursachen.
  • Build-Hooks: Neue HTTP-Endpunkte ermöglichen es Agenten, zusätzliche Warmup-Aufgaben auszuführen, wie das Laden von Browser-Binaries oder CLI-Tools, während des Snapshot-Builds.
  • Metriken: Der Plattform-Overhead wird über OverheadLatency in CloudWatch verfolgt, während die Gesamtzeit bis zum ersten Byte über Latency erfasst wird.
  • Netzwerkbehandlung: Ungültige Netzwerk-Sockets müssen vor dem Snapshotting geschlossen werden, um Verbindungsfehler zu vermeiden, obwohl sich einige Clients wie boto3 automatisch neu verbinden.

Warum das wichtig ist

Für Software-Ingenieure, die interaktive KI-Erlebnisse wie Chatbots oder Sprachassistenten entwickeln, können bereits zwei Sekunden Verzögerung die Benutzerzufriedenheit beeinträchtigen. Die V2-Architektur bietet einen Weg zu Startzeiten unter einer Sekunde, aber nur, wenn die Anwendung korrekt strukturiert ist. Das Verlagern der Initialisierungsarbeit vom Request-Handler in die Build-Phase reduziert die Kosten pro Sitzung, erhöht jedoch den Speicher-Fußabdruck jeder Sitzung. Entwickler müssen diese Trade-offs abwägen und sicherstellen, dass die im Speicher gehaltenen Daten den erhöhten Ressourcenverbrauch rechtfertigen.

Das Verständnis der Unterscheidung zwischen Init-Zeit und Request-Latenz ist entscheidend für eine effektive Optimierung. Die Init-Zeit trägt nun zur Deployment-Dauer bei, nicht mehr zur benutzerseitigen Latenz. Durch die Messung von OverheadLatency und deren Trennung von der Anwendungslogik-Zeit können Teams identifizieren, ob Verzögerungen von der Plattform beim Wiederherstellen des Snapshots oder von ineffizientem Code innerhalb des Handlers stammen. Diese Transparenz ermöglicht gezielte Verbesserungen, wie das Vorladen großer Modelle oder das Kompilieren von Bytecode während der Build-Phase.

Was Sie tun können

  • Initialisierung in den Start verschieben: Verschieben Sie Imports, Client-Erstellungen und das Laden statischer Daten so, dass sie vor app.run() stattfinden, damit sie im Snapshot erfasst werden.
  • Build-Hooks für externe Tools nutzen: Implementieren Sie HTTP-Endpunkte, um große Binaries, wie Browser oder CLIs, während des Snapshot-Build-Prozesses in den Speicher zu laden.
  • Statische Daten im Speicher halten: Lesen Sie große Referenzdateien während der Initialisierung in Objekte ein, anstatt sie bei jeder Anfrage von der Disk zu lesen.
  • Netzwerkverbindungen managen: Schließen Sie langlebige Netzwerkverbindungen, bevor der Snapshot erstellt wird, um Fehler aufgrund ungültiger Sockets bei der Wiederherstellung zu verhindern.
  • Bytecode explizit kompilieren: Setzen Sie Umgebungsvariablen wie UV_COMPILE_BYTECODE=1, um sicherzustellen, dass Abhängigkeiten während der Initialisierung kompiliert werden, um Kompilierungsverzögerungen in neuen Sitzungen zu vermeiden.
  • Spezifische Metriken überwachen: Verfolgen Sie OverheadLatency, um die Restore-Zeit der Plattform zu messen, und subtrahieren Sie diese von der gesamten Latency, um die Anwendungsleistung zu isolieren.
  • #aws
  • #serverless
  • #ai-agents
  • #performance
  • #bedrock

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel