Anthropic reduziert die Latenz von Claude Code durch serverseitige Nachrichten-Threads

Anthropic hat Nachrichten-Threads eingeführt, eine neue Funktion für seine Messages API, die darauf abzielt, langlaufende KI-Sitzungen zu beschleunigen, indem redundante Datenübertragungen reduziert werden. Das Update ist jetzt in der öffentlichen Beta verfügbar und bereits für die meisten Claude Code-Nutzer aktiv. Es soll die Zeit verkürzen, bis das Modell mit der Antwort beginnt.

Was passiert ist

Das Kernproblem, das dieses Update adressiert, ist die Ineffizienz traditioneller API-Interaktionen bei ausgedehnten Aufgaben. Bisher musste der Client bei jeder an Claude gesendeten Anfrage den gesamten Gesprächsverlauf hochladen, einschließlich aller vorherigen Nachrichten, Tool-Aufrufe und System-Prompts. Wenn ein Coding-Agent komplexe Aufgaben bearbeitet, Dateien liest und Änderungen vornimmt, wächst dieser Verlauf schnell an. Sobald eine Sitzung 500.000 Tokens erreicht, erfordert jede neue Anfrage das erneute Hochladen dieser enormen Datenmenge, die die API dann validieren und tokenisieren muss, bevor die Verarbeitung beginnen kann.

Nachrichten-Threads ändern diese Dynamik, indem sie Anthropic ermöglichen, den Gesprächsverlauf vorübergehend auf seinen Servern zu speichern. Die erste Anfrage sendet weiterhin den vollständigen Kontext, aber nachfolgende Anfragen müssen nur noch neue Nachrichten und eine Referenz zur vorherigen Antwort-ID enthalten. Anthropic rekonstruiert den vollständigen Gesprächsverlauf serverseitig, bevor er an das Modell übergeben wird. Diese Umstellung hat die mediane Zeit bis zum ersten Token (Time to First Token) für Claude Code-Anfragen mit zwischen 500.000 und 1 Million Tokens um etwa 35 % reduziert.

Obwohl die Funktion die Latenz und das Datenvolumen erheblich senkt, reduziert sie nicht die API-Kosten. Anthropic berechnet weiterhin alle vom Modell verarbeiteten Tokens, unabhängig davon, wie viel Daten der Client hochlädt. Das Unternehmen weist darauf hin, dass Entwickler Nachrichten-Threads mit Prompt-Caching kombinieren können, um potenziell Kosten zu senken, da beide Funktionen unterschiedliche Aspekte der Leistung und Abrechnung adressieren.

Wie es funktioniert

Technisch gesehen führen Nachrichten-Threads einen neuen Parameter in die Messages API ein. Um einen Thread zu starten, fügen Entwickler thread={"type": "create"} in ihre erste Anfrage zusammen mit dem vollständigen Gesprächsverlauf ein. Für Folgerunden verwenden sie thread={"type": "continue", "previous_message_id": [ID]} und senden nur die neue Eingabe. Die API behält den früheren Kontext, System-Prompts und Tool-Definitionen im Server-Speicher, wodurch wiederholtes Hochladen entfällt.

Für Nutzer des Python SDK vereinfacht ein Thread-Helper diesen Prozess. Durch Initialisierung eines Threads via client.beta.messages.thread() verwaltet das SDK automatisch die Logik für Erstellung und Fortsetzung, einschließlich des erforderlichen Beta-Headers anthropic-beta: message-threads-2026-08-12. Diese Abstraktion ermöglicht es Entwicklern, sich auf das Senden von Nachrichten via thread.send() zu konzentrieren, ohne manuell Antwort-IDs zu verfolgen oder Low-Level-API-Parameter zu behandeln.

Wichtige Details

• Nachrichten-Threads sind in der öffentlichen Beta für alle Claude-Modelle verfügbar, einschließlich jener auf AWS, Microsoft Foundry und Google Cloud.
• Die Funktion reduziert die mediane Zeit bis zum ersten Token um etwa 35 % für große Kontexte zwischen 500.000 und 1 Million Tokens.
• Threads verfallen nach fünf Minuten Inaktivität, was ein erneutes Senden des vollständigen Verlaufs erfordert, wenn die Pause diese Grenze überschreitet.
• Token-Nutzung und Abrechnung bleiben unverändert, da Claude bei jedem Turn weiterhin den gesamten Gesprächsverlauf verarbeitet.
• Thread-Inhalte werden verschlüsselt und bis zu einer Stunde nach der letzten Nutzung im Server-Speicher gehalten, aber nicht dauerhaft gespeichert.
• Die Funktion ist derzeit nicht mit Richtlinien zur Null-Datenspeicherung (Zero Data Retention) und HIPAA-Compliance-Anforderungen kompatibel.

Warum das wichtig ist

Für Ingenieure, die KI-Agenten entwickeln, insbesondere solche, die Computernutzung oder langlaufende Coding-Aufgaben beinhalten, ist Latenz ein kritischer Engpass. Guillaume Lebedel, CTO von StackOne, verdeutlichte das potenzielle Ausmaß, indem er schätzte, dass ein Computer-Use-Agent, der Screenshots erfasst, kumulative Datenuploads von 191 MB auf 7,5 MB über eine 50-Schritte-Sitzung reduzieren könnte. Diese drastische Reduktion des Netzwerk-Payloads bedeutet schnellere Round-Trip-Zeiten und reaktionsfähigere Agenten, auch wenn die Rechenkosten auf Seiten von Anthropic gleich bleiben.

Jedoch führt das fünfminütige Verfallsfenster zu einer Einschränkung, die Entwickler in ihrer Anwendungslogik berücksichtigen müssen. Während kontinuierlich laufende Agenten diese Grenze selten erreichen, könnten interaktive Tools, die von Menschen genutzt werden, Unterbrechungen erfahren. Wenn ein Entwickler eine Kaffeepause macht, verfällt der Thread, und die nächste Anfrage muss den vollständigen Verlauf erneut hochladen. Obwohl das SDK dies elegant handhabt, indem es einen neuen Thread etabliert, wird die anfängliche Verzögerung nach einer Pause höher sein, bis der Thread neu aufgebaut ist.

Was Sie tun können

• Aktualisieren Sie Ihr Anthropic Python SDK auf die neueste Version, um auf den Helper client.beta.messages.thread() zuzugreifen.
• Refactoren Sie Loops für langlaufende Agenten so, dass sie den Thread-Helper nutzen, und stellen Sie sicher, dass Sie den Header betas=["message-threads-2026-08-12"] übergeben, wenn Sie direkte API-Aufrufe tätigen.
• Überwachen Sie die Leerlaufzeiten Ihres Agenten und implementieren Sie lokales State-Management, um den Thread-Verfall beim Fortsetzen von Sitzungen angemessen zu behandeln.
• Kombinieren Sie Nachrichten-Threads mit Prompt-Caching für statische Inhalte wie Systemanweisungen, um sowohl Latenz als auch Kosten zu optimieren.
• Prüfen Sie Ihre Compliance-Anforderungen für Daten, da Nachrichten-Threads derzeit nicht für HIPAA-regulierte oder Zero-Retention-Umgebungen geeignet sind.
• Testen Sie die Funktion mit Workloads mit großem Kontext, um die tatsächliche Verbesserung der Zeit bis zum ersten Token für Ihren spezifischen Anwendungsfall zu messen.