TPU Sync de Google réduit la latence d'inférence en déplaçant les données du cache KV

Google a introduit TPU Sync, un nouveau framework logiciel open source conçu pour accélérer l'inférence IA sur ses Tensor Processing Units de huitième génération. Annoncé le 9 novembre 2026, cet outil s'attaque aux goulots d'étranglement mémoire dans le déploiement des grands modèles de langage en optimisant la manière dont les données du cache clé-valeur (KV) transitent entre les différents niveaux de mémoire. L'entreprise affirme que cette approche peut réduire le temps jusqu'au premier token de plus de 90 % dans certains scénarios à haute paramétrisation.

Ce qui s'est passé

Cette sortie accompagne les mises à jour matérielles plus larges de Google, ciblant spécifiquement les développeurs qui exécutent de grands modèles avec des fenêtres de contexte de plusieurs millions de tokens ou des charges de travail d'apprentissage par renforcement. À mesure que la longueur des contextes augmente, le coût et la latence liés à la gestion du cache clé-valeur (KV) deviennent des goulots d'étranglement significatifs. TPU Sync vise à résoudre ce problème en déplaçant efficacement les données entre la mémoire de l'accélérateur, la DRAM hôte, le stockage et le réseau, sans copies inutiles.

Lors de benchmarks internes, Google a démontré des gains de performance substantiels. Pour le modèle Qwen3 de 235 milliards de paramètres, le déplacement des caches KV est passé de plusieurs secondes à environ 230 millisecondes. Cette réduction a diminué le temps moyen jusqu'au premier token de 60 % sous une charge légère. Lors des tests sur un modèle plus large de 480 milliards de paramètres, la réduction de latence a atteint 90 %. Des améliorations similaires ont été observées lors de tests de mise en cache par préfixe avec des contextes de 64 000 tokens, où le débit a augmenté de plus de 50 % et la latence inter-token P99 a chuté de 30 %.

Cependant, ces résultats sont assortis de réserves. Les performances varient selon la charge de travail spécifique, la quantité de réutilisation des données mises en cache et la bande passante réseau disponible. Le logiciel n'est pas encore considéré comme prêt pour la production dans tous les cas d'usage. Google prévient que les API sont encore en évolution et conseille aux développeurs d'épingler leurs déploiements à des commits vérifiés spécifiques ou à des versions taguées, plutôt que de suivre la branche principale.

Comment cela fonctionne

TPU Sync est écrit en C++ et opère en gérant les transferts de données à travers la hiérarchie mémoire des hôtes TPU. Il utilise des transferts zéro-copie et des descripteurs matériels natifs PjRtBuffer pour éliminer la duplication redondante des données. Cette méthode permet au système d'approcher les limites théoriques de l'interface matérielle. Lors de tests sur des hôtes TPU Ironwood, le débit combiné hôte-vers-périphérique et périphérique-vers-hôte a atteint 223 Go/s, se rapprochant de la limite de 256 Go/s du PCIe Gen5.

Le framework s'intègre aux écosystèmes d'inférence existants, notamment TorchTPU, vLLM et SGLang. Cette compatibilité signifie que les développeurs peuvent exécuter des charges de travail désagrégées sur TPUs sans reconstruire toute leur pile de service. La désagrégation sépare les phases de préremplissage (prefill) et de décodage de l'inférence, permettant d'optimiser chacune indépendamment. Auparavant, le service externe sur TPU manquait d'infrastructure pour gérer efficacement cette séparation, mais TPU Sync fournit les mécanismes nécessaires pour gérer l'état et les mouvements de données entre ces phases.

Détails clés

• TPU Sync est un framework open source écrit en C++ pour gérer les mouvements de données du cache KV.
• Les benchmarks montrent une réduction allant jusqu'à 90 % du temps jusqu'au premier token pour les modèles de 480 milliards de paramètres.
• Le débit sur les hôtes TPU Ironwood a atteint 223 Go/s, proche de la limite théorique du PCIe Gen5.
• Le logiciel prend en charge Cloud TPU v7x et v6e avec des exigences spécifiques concernant les versions de JAX et PyTorch.
• L'intégration est disponible pour les moteurs d'inférence populaires comme vLLM et SGLang via TorchTPU.
• Google recommande d'utiliser des commits vérifiés ou des versions taguées car les API sont encore en mutation.

Pourquoi c'est important

Pour les équipes d'ingénierie développant des produits avec de grands modèles de langage, la latence d'inférence impacte directement l'expérience utilisateur et les coûts opérationnels. Le temps jusqu'au premier token est une métrique critique pour les applications interactives, et sa réduction de telles marges peut rendre viables des fenêtres de contexte auparavant impraticables. En s'attaquant à la couche logicielle qui gère les mouvements mémoire, Google tente de combler l'écart avec l'écosystème CUDA de Nvidia, qui domine depuis longtemps l'inférence IA grâce à ses outils matures et ses optimisations de performance.

Ce développement souligne également l'importance croissante des architectures de service désagrégées. À mesure que les modèles passent à l'échelle, traiter le préremplissage et le décodage comme des problèmes distincts permet une meilleure utilisation des ressources. TPU Sync fournit l'infrastructure nécessaire pour rendre cela possible sur le matériel Google, offrant potentiellement une alternative économique aux systèmes GB200 et GB300 de Nvidia pour certaines charges de travail. Toutefois, les comparaisons directes avec des configurations Nvidia entièrement optimisées restent limitées, et les développeurs doivent peser les avantages contre l'immaturité actuelle du logiciel.

Ce que vous pouvez faire

• Évaluez si vos charges de travail actuelles impliquent de grandes fenêtres de contexte ou des modèles à forte paramétrisation qui bénéficieraient de l'optimisation du cache KV.
• Testez TPU Sync dans un environnement non de production en utilisant des instances Cloud TPU v7x ou v6e pour mesurer les améliorations réelles de latence.
• Épinglez vos dépendances à des versions taguées spécifiques ou à des commits vérifiés pour éviter les ruptures causées par l'évolution des API.
• Examinez votre pile d'inférence existante pour voir si elle peut s'intégrer avec TorchTPU, vLLM ou SGLang pour faciliter l'adoption.
• Surveillez la bande passante réseau et les taux de réutilisation des données mises en cache, car ces facteurs influencent considérablement les gains de performance que vous constaterez.
• Gardez un œil sur les futures mises à jour de Google concernant la stabilité des API et le support matériel plus large avant de planifier une migration en production.