RAG, đánh giá mô hình, suy luận, tinh chỉnh và đưa tính năng LLM vào production.
Một nghiên cứu tình huống của Google đã tái tạo thành công mô hình OLMo 3 của AI2 trên các bộ xử lý TPU, khớp với các chỉ số hiệu suất nhưng đồng thời phát hiện ra những lỗi phân mảnh dữ liệu nghiêm trọng khiến việc ghi nhớ dữ liệu bị nhầm lẫn là sự cải thiện.
Blog của Google Developers giới thiệu autofinetune, một hệ thống do tác nhân AI điều khiển, tự động hóa việc tinh chỉnh siêu tham số cho quá trình huấn luyện có giám sát (SFT) và hậu huấn luyện bằng học tăng cường (RL) trên Cloud TPUs.
Google mô tả cách hỗ trợ TPU gốc trong vLLM cho phép mở rộng linh hoạt và suy luận embedding độ chính xác cao cho các mô hình Qwen3.
Kubernetes thiếu hỗ trợ gốc cho các lỗi thiết bị một phần, buộc các kỹ sư phải xây dựng logic khắc phục tùy chỉnh cho các tác vụ huấn luyện AI và ML tốn kém.
Dự án Kubernetes đã phát hành Phần mở rộng Suy luận của Gateway API nhằm chuẩn hóa việc định tuyến cho các khối lượng công việc AI tạo sinh, giúp giảm độ trễ và cải thiện hiệu suất sử dụng GPU.
