Tối ưu hóa suy luận embedding ngữ cảnh dài trên Cloud TPU với vLLM
Google mô tả cách hỗ trợ TPU gốc trong vLLM cho phép mở rộng linh hoạt và suy luận embedding độ chính xác cao cho các mô hình Qwen3.
Kết quả cho “inference”
Cập nhật hàng ngày về AI, công cụ lập trình và hạ tầng. Mỗi bài viết giải thích chuyện gì đã xảy ra và tại sao nó quan trọng, kèm link đến nguồn gốc.
Kubernetes giới thiệu phần mở rộng Gateway API cho định tuyến suy luận LLM
Dự án Kubernetes đã phát hành Phần mở rộng Suy luận của Gateway API nhằm chuẩn hóa việc định tuyến cho các khối lượng công việc AI tạo sinh, giúp giảm độ trễ và cải thiện hiệu suất sử dụng GPU.
