RAG, evaluaciones, inferencia, ajuste fino y llevar funciones con LLM a producción.
Un estudio de caso de Google reproduce el modelo OLMo 3 de AI2 en TPUs, igualando las métricas de rendimiento mientras descubre errores críticos en la fragmentación de datos que ocultaban la memorización como una mejora.
El blog de Google Developers detalla autofinetune, un sistema impulsado por agentes que automatiza el ajuste de hiperparámetros para SFT y post-entrenamiento con RL en Cloud TPUs.
Google detalla cómo el soporte nativo para TPU en vLLM permite un escalado elástico y una inferencia de embeddings de alta precisión para los modelos Qwen3.
Kubernetes carece de soporte nativo para fallos parciales de dispositivos, lo que obliga a los ingenieros a crear lógica de remediación personalizada para costosos trabajos de entrenamiento de IA y ML.
El proyecto Kubernetes lanzó la Gateway API Inference Extension para estandarizar el enrutamiento de cargas de trabajo de IA generativa, reduciendo la latencia y mejorando la utilización de las GPU.
