Tối ưu hóa suy luận embedding ngữ cảnh dài trên Cloud TPU với vLLM
Google mô tả cách hỗ trợ TPU gốc trong vLLM cho phép mở rộng linh hoạt và suy luận embedding độ chính xác cao cho các mô hình Qwen3.
Kết quả cho “google cloud”
Cập nhật hàng ngày về AI, công cụ lập trình và hạ tầng. Mỗi bài viết giải thích chuyện gì đã xảy ra và tại sao nó quan trọng, kèm link đến nguồn gốc.
Tối ưu hóa mô hình khuếch tán Avatar IV của HeyGen cho Google Cloud TPU
Các kỹ sư từ HeyGen và Google Cloud chia sẻ chi tiết về cách họ chuyển đổi quy trình tạo video Avatar IV sang các chip TPU Trillium v6e, đạt được tốc độ nhanh hơn 1,86 lần thông qua tối ưu hóa kernel và chiến lược song song hóa.
