Optimización de la inferencia de embeddings en contextos largos en Cloud TPU con vLLM
Google detalla cómo el soporte nativo para TPU en vLLM permite un escalado elástico y una inferencia de embeddings de alta precisión para los modelos Qwen3.
Resultados para “google cloud”
Cobertura diaria de IA, herramientas para desarrolladores e infraestructura. Cada artículo explica qué ocurrió y por qué es importante, con un enlace a la fuente original.
Optimización del modelo de difusión Avatar IV de HeyGen para las TPUs de Google Cloud
Ingenieros de HeyGen y Google Cloud detallan cómo portaron el flujo de trabajo de generación de video Avatar IV a las TPUs Trillium v6e, logrando una aceleración de 1.86x mediante la optimización de kernels y estrategias de paralelismo.
