Optimización de la inferencia de embeddings en contextos largos en Cloud TPU con vLLM
Google detalla cómo el soporte nativo para TPU en vLLM permite un escalado elástico y una inferencia de embeddings de alta precisión para los modelos Qwen3.
Resultados para “inference”
Cobertura diaria de IA, herramientas para desarrolladores e infraestructura. Cada artículo explica qué ocurrió y por qué es importante, con un enlace a la fuente original.
Kubernetes presenta una extensión de la Gateway API para el enrutamiento de inferencia de LLM
El proyecto Kubernetes lanzó la Gateway API Inference Extension para estandarizar el enrutamiento de cargas de trabajo de IA generativa, reduciendo la latencia y mejorando la utilización de las GPU.
