RAG, évaluations, inférence, fine-tuning et mise en production de fonctions LLM.
Une étude de cas Google reproduit le modèle OLMo 3 d'AI2 sur TPUs, égalant les métriques de performance tout en découvrant des erreurs critiques de partitionnement des données qui masquaient la mémorisation sous couvert d'amélioration.
Le blog Google Developers détaille autofinetune, un système piloté par agents qui automatise le réglage des hyperparamètres pour l'apprentissage supervisé (SFT) et l'affinage post-apprentissage par renforcement (RL) sur Cloud TPUs.
Google détaille comment le support natif des TPUs dans vLLM permet une mise à l'échelle élastique et une inférence d'embeddings de haute précision pour les modèles Qwen3.
Kubernetes ne prend pas en charge nativement les défaillances partielles des périphériques, obligeant les ingénieurs à développer une logique de remédiation sur mesure pour les tâches coûteuses d'entraînement IA et ML.
Le projet Kubernetes a publié l'extension d'inférence de l'API Gateway afin de standardiser le routage des charges de travail d'IA générative, réduisant ainsi la latence et améliorant l'utilisation des GPU.
