TPU Sync de Google reduce la latencia de inferencia al mover datos de caché KV

Google ha presentado TPU Sync, un nuevo marco de software de código abierto diseñado para acelerar la inferencia de IA en sus unidades de procesamiento de tensores (Tensor Processing Units) de octava generación. Anunciado el 9 de noviembre de 2026, esta herramienta aborda los cuellos de botella de memoria en el servicio de modelos de lenguaje grandes optimizando cómo se mueven los datos de la caché clave-valor entre diferentes niveles de memoria. La empresa afirma que este enfoque puede reducir el tiempo hasta el primer token en más del 90 por ciento en escenarios específicos de alta cantidad de parámetros.

Qué ocurrió

El lanzamiento acompaña las actualizaciones de hardware más amplias de Google, dirigidas específicamente a desarrolladores que ejecutan modelos grandes con ventanas de contexto de millones de tokens o cargas de trabajo de aprendizaje por refuerzo. A medida que crecen las longitudes de contexto, el costo y la latencia de gestionar la caché clave-valor (KV) se convierten en cuellos de botella significativos. TPU Sync busca resolver esto moviendo datos eficientemente entre la memoria del acelerador, la DRAM del host, el almacenamiento y la red sin copias innecesarias.

En pruebas internas, Google demostró mejoras sustanciales de rendimiento. Para el modelo Qwen3 de 235 mil millones de parámetros, el movimiento de cachés KV pasó de varios segundos a aproximadamente 230 milisegundos. Esta reducción disminuyó el tiempo promedio hasta el primer token en un 60 por ciento bajo carga ligera. Al probar un modelo más grande de 480 mil millones de parámetros, la reducción de latencia alcanzó el 90 por ciento. Se observaron mejoras similares en pruebas de caché de prefijo con contextos de 64.000 tokens, donde el rendimiento aumentó más del 50 por ciento y la latencia inter-token P99 cayó un 30 por ciento.

Sin embargo, estos resultados tienen matices. El rendimiento varía según la carga de trabajo específica, la cantidad de reutilización de datos en caché y el ancho de banda de red disponible. El software aún no se considera listo para producción para todos los casos de uso. Google advierte que las APIs siguen evolucionando y aconseja a los desarrolladores fijar sus despliegues a commits verificados específicos o lanzamientos etiquetados en lugar de seguir la rama principal.

Cómo funciona

TPU Sync está escrito en C++ y opera gestionando transferencias de datos a través de la jerarquía de memoria de los hosts TPU. Utiliza transferencias de copia cero y descriptores de hardware nativos PjRtBuffer para eliminar la duplicación redundante de datos. Este método permite al sistema acercarse a los límites teóricos de la interfaz de hardware. En pruebas en hosts TPU Ironwood, el rendimiento combinado de host-a-dispositivo y dispositivo-a-host alcanzó 223 GB/s, cerca del límite de 256 GB/s de PCIe Gen5.

El marco se integra con ecosistemas de inferencia existentes, incluyendo TorchTPU, vLLM y SGLang. Esta compatibilidad significa que los desarrolladores pueden ejecutar cargas de trabajo desagregadas en TPUs sin reconstruir toda su pila de servicio. La desagregación separa las fases de prefill y decode de la inferencia, permitiendo optimizar cada una de forma independiente. Anteriormente, el servicio externo de TPU carecía de la infraestructura para manejar esta separación eficazmente, pero TPU Sync proporciona los mecanismos necesarios para gestionar el estado y el movimiento de datos entre estas fases.

Detalles clave

• TPU Sync es un marco de código abierto escrito en C++ para gestionar el movimiento de datos de la caché KV.
• Las pruebas muestran una reducción de hasta el 90% en el tiempo hasta el primer token para modelos de 480 mil millones de parámetros.
• El rendimiento en hosts TPU Ironwood alcanzó 223 GB/s, cercano al límite teórico de PCIe Gen5.
• El software soporta Cloud TPU v7x y v6e con requisitos específicos de versiones de JAX y PyTorch.
• La integración está disponible para motores de inferencia populares como vLLM y SGLang a través de TorchTPU.
• Google recomienda usar commits verificados o lanzamientos etiquetados ya que las APIs siguen cambiando.

Por qué importa

Para equipos de ingeniería que construyen productos con modelos de lenguaje grandes, la latencia de inferencia impacta directamente la experiencia del usuario y los costos operativos. El tiempo hasta el primer token es una métrica crítica para aplicaciones interactivas, y reducirla en tales márgenes puede hacer viables ventanas de contexto previamente poco prácticas. Al abordar la capa de software que gestiona el movimiento de memoria, Google intenta cerrar la brecha con el ecosistema CUDA de Nvidia, que ha dominado durante mucho tiempo la inferencia de IA debido a sus herramientas maduras y optimizaciones de rendimiento.

Este desarrollo también destaca la creciente importancia de las arquitecturas de servicio desagregado. A medida que los modelos escalan, tratar el prefill y el decode como problemas separados permite una mejor utilización de recursos. TPU Sync proporciona la infraestructura para hacer esto posible en el hardware de Google, ofreciendo potencialmente una alternativa rentable a los sistemas GB200 y GB300 de Nvidia para ciertas cargas de trabajo. Sin embargo, las comparaciones directas con configuraciones de Nvidia totalmente ajustadas siguen siendo limitadas, y los desarrolladores deben sopesar los beneficios frente a la inmadurez actual del software.

Qué puedes hacer

• Evalúa si tus cargas de trabajo actuales involucran ventanas de contexto grandes o modelos de alta cantidad de parámetros que se beneficiarían de la optimización de la caché KV.
• Prueba TPU Sync en un entorno no productivo usando instancias Cloud TPU v7x o v6e para medir las mejoras reales de latencia.
• Fija tus dependencias a lanzamientos etiquetados específicos o commits verificados para evitar cambios disruptivos derivados de APIs en evolución.
• Revisa tu pila de inferencia existente para ver si puede integrarse con TorchTPU, vLLM o SGLang para facilitar la adopción.
• Monitorea el ancho de banda de red y las tasas de reutilización de datos en caché, ya que estos factores influyen significativamente en las ganancias de rendimiento que observarás.
• Presta atención a futuras actualizaciones de Google sobre la estabilidad de la API y el soporte de hardware más amplio antes de planificar la migración a producción.