Googles TPU Sync senkt die Inferenz-Latenz durch Verschiebung von KV-Cache-Daten

Google hat TPU Sync vorgestellt, ein neues Open-Source-Software-Framework, das darauf abzielt, die KI-Inferenz auf den Tensor Processing Units der achten Generation zu beschleunigen. Das am 9. November 2026 angekündigte Tool adressiert Speicherengpässe beim Betrieb großer Sprachmodelle, indem es optimiert, wie Key-Value-Cache-Daten zwischen verschiedenen Speicherebenen verschoben werden. Das Unternehmen gibt an, dass dieser Ansatz die Zeit bis zum ersten Token in bestimmten Szenarien mit hoher Parameteranzahl um mehr als 90 Prozent reduzieren kann.

Was passiert ist

Die Veröffentlichung begleitet Googles breitere Hardware-Updates und richtet sich speziell an Entwickler, die große Modelle mit Kontextfenstern von Millionen Tokens oder Reinforcement-Learning-Workloads betreiben. Mit zunehmender Länge des Kontexts werden die Kosten und die Latenz für das Management des Key-Value-(KV)-Caches zu erheblichen Engpässen. TPU Sync zielt darauf ab, dieses Problem zu lösen, indem Daten effizient zwischen dem Accelerator-Speicher, dem Host-DRAM, dem Speicher und dem Netzwerk verschoben werden, ohne unnötige Kopien zu erstellen.

In internen Benchmarks demonstrierte Google erhebliche Leistungssteigerungen. Beim Verschieben der KV-Caches für das Qwen3-Modell mit 235 Milliarden Parametern sank die Zeit von mehreren Sekunden auf etwa 230 Millisekunden. Diese Reduktion senkte die durchschnittliche Zeit bis zum ersten Token unter leichter Last um 60 Prozent. Bei Tests eines größeren Modells mit 480 Milliarden Parametern erreichte die Latenzreduktion 90 Prozent. Ähnliche Verbesserungen wurden bei Tests des Prefix-Cachings mit Kontexten von 64.000 Tokens beobachtet, wo der Durchsatz um über 50 Prozent stieg und die P99-Inter-Token-Latenz um 30 Prozent fiel.

Allerdings sind diese Ergebnisse mit Einschränkungen verbunden. Die Leistung variiert je nach spezifischem Workload, dem Umfang der Wiederverwendung von Cachedaten und der verfügbaren Netzwerkbandbreite. Die Software wird noch nicht als produktionsreif für alle Anwendungsfälle betrachtet. Google warnt, dass die APIs weiterhin im Fluss sind, und rät Entwicklern, ihre Deployments an bestimmte verifizierte Commits oder getaggte Releases zu binden, anstatt dem Hauptzweig (Main Branch) zu folgen.

Wie es funktioniert

TPU Sync ist in C++ geschrieben und verwaltet Datenübertragungen über die Speicherhierarchie der TPU-Hosts hinweg. Es nutzt Zero-Copy-Übertragungen und native PjRtBuffer-Hardware-Deskriptoren, um redundante Datenverdopplungen zu eliminieren. Diese Methode ermöglicht es dem System, die theoretischen Grenzen der Hardwareschnittstelle nahezu auszuschöpfen. In Tests auf Ironwood-TPU-Hosts erreichte die kombinierte Host-zu-Gerät- und Gerät-zu-Host-Durchsatzrate 223 GB/s, was nahe an der Grenze von 256 GB/s für PCIe Gen5 liegt.

Das Framework integriert sich in bestehende Inferenz-Ökosysteme, darunter TorchTPU, vLLM und SGLang. Diese Kompatibilität bedeutet, dass Entwickler disaggregierte Workloads auf TPUs ausführen können, ohne ihren gesamten Serving-Stack neu aufzubauen. Disaggregation trennt die Prefill- und Decode-Phasen der Inferenz, sodass jede Phase unabhängig optimiert werden kann. Bisher fehlte externem TPU-Serving die Infrastruktur, um diese Trennung effektiv zu handhaben, aber TPU Sync bietet die notwendigen Mechanismen, um Status und Datenbewegungen zwischen diesen Phasen zu verwalten.

Wichtige Details

• TPU Sync ist ein Open-Source-Framework in C++ zur Verwaltung der Bewegung von KV-Cache-Daten.
• Benchmarks zeigen eine Reduktion der Zeit bis zum ersten Token um bis zu 90 % bei Modellen mit 480 Milliarden Parametern.
• Der Durchsatz auf Ironwood-TPU-Hosts erreichte 223 GB/s, nahe an der theoretischen Grenze von PCIe Gen5.
• Die Software unterstützt Cloud TPU v7x und v6e mit spezifischen JAX- und PyTorch-Versionsanforderungen.
• Integration ist für populäre Inferenz-Engines wie vLLM und SGLang über TorchTPU verfügbar.
• Google empfiehlt die Verwendung verifizierter Commits oder getaggter Releases, da sich die APIs noch ändern.

Warum das wichtig ist

Für Engineering-Teams, die Produkte mit großen Sprachmodellen entwickeln, wirkt sich die Inferenz-Latenz direkt auf die Benutzererfahrung und die Betriebskosten aus. Die Zeit bis zum ersten Token ist eine kritische Metrik für interaktive Anwendungen, und deren Reduktion um solche Größenordnungen kann zuvor unpraktikable Kontextfenster nutzbar machen. Indem Google die Softwareebene adressiert, die den Speicherverschub verwaltet, versucht es, die Lücke zum CUDA-Ökosystem von Nvidia zu schließen, das die KI-Inferenz aufgrund seiner ausgereiften Tools und Performance-Optimierungen lange dominiert hat.

Diese Entwicklung unterstreicht auch die wachsende Bedeutung disaggregierter Serving-Architekturen. Wenn Modelle skalieren, erlaubt die Behandlung von Prefill und Decode als separate Probleme eine bessere Ressourcennutzung. TPU Sync stellt die Infrastruktur bereit, um dies auf Google-Hardware möglich zu machen, und könnte eine kosteneffektive Alternative zu Nvidias GB200- und GB300-Systemen für bestimmte Workloads bieten. Direkte Vergleiche mit vollständig optimierten Nvidia-Setups bleiben jedoch begrenzt, und Entwickler müssen die Vorteile gegen die derzeitige Unreife der Software abwägen.

Was Sie tun können

• Prüfen Sie, ob Ihre aktuellen Workloads große Kontextfenster oder Modelle mit hoher Parameteranzahl beinhalten, die von einer KV-Cache-Optimierung profitieren würden.
• Testen Sie TPU Sync in einer Nicht-Produktionsumgebung mit Cloud TPU v7x- oder v6e-Instanzen, um tatsächliche Latenzverbesserungen zu messen.
• Binden Sie Ihre Abhängigkeiten an bestimmte getaggte Releases oder verifizierte Commits, um Breaking Changes durch sich entwickelnde APIs zu vermeiden.
• Überprüfen Sie Ihren bestehenden Inferenz-Stack, um festzustellen, ob er sich für eine einfachere Adoption mit TorchTPU, vLLM oder SGLang integrieren lässt.
• Überwachen Sie die Netzwerkbandbreite und die Raten der Wiederverwendung von Cachedaten, da diese Faktoren die Leistungssteigerungen erheblich beeinflussen, die Sie erzielen werden.
• Behalten Sie zukünftige Updates von Google bezüglich API-Stabilität und breiterer Hardware-Unterstützung im Auge, bevor Sie eine Migration in die Produktion planen.