Kubernetes giới thiệu phần mở rộng Gateway API cho định tuyến suy luận LLM
Dự án Kubernetes đã phát hành Phần mở rộng Suy luận của Gateway API nhằm chuẩn hóa việc định tuyến cho các khối lượng công việc AI tạo sinh, giúp giảm độ trễ và cải thiện hiệu suất sử dụng GPU.
