TPUでのOLMo 3 7B再現が、隠れたデータローダーのバグを明らかに
Googleのケーススタディでは、AI2のOLMo 3モデルをTPU上で再現し、性能指標を一致させると同時に、改善と誤認されていた重要なデータシャーディングエラーを発見しました。
AIで開発する
RAG、評価、推論、ファインチューニング、LLM機能の本番運用。
Google、TPU上での自律型LLMファインチューニングループを実証
Google Developers Blogは、Cloud TPU上のSFTおよびRLポストトレーニングにおけるハイパーパラメータ調整を自動化するエージェント駆動システム「autofinetune」の詳細を紹介しています。
Cloud TPUでのvLLMを用いた長文コンテキスト埋め込み推論の最適化
Googleは、vLLMにおけるネイティブTPUサポートがQwen3モデル向けに弾力的なスケーリングと高精度な埋め込み推論をどのように可能にするかについて詳述しています。
KubernetesにおけるAIワークロード向けGPU障害への対応
Kubernetesは部分的なデバイス障害に対するネイティブサポートを欠いており、エンジニアは高価なAIおよびMLトレーニングジョブのために独自の修復ロジックを構築せざるを得ない状況にあります。
Kubernetes、LLM推論ルーティング向けのGateway API拡張機能を導入
Kubernetesプロジェクトは、生成AIワークロードのルーティングを標準化し、レイテンシの削減とGPU利用率の向上を実現する「Gateway API Inference Extension」をリリースしました。
