Chạy các mô hình LLM nghìn tỷ tham số trên cụm Mac Studio với MLX
Các nhà nghiên cứu của Apple trình diễn cách chạy mô hình Muse Spark Open 816B trên bốn chiếc Mac Studio bằng cách sử dụng MLX và RDMA qua Thunderbolt.
Kết quả cho “llm inference”
Cập nhật hàng ngày về AI, công cụ lập trình và hạ tầng. Mỗi bài viết giải thích chuyện gì đã xảy ra và tại sao nó quan trọng, kèm link đến nguồn gốc.
Giải mã suy đoán: Cách đoán token giúp tăng tốc suy luận LLM
Suy luận bằng phương pháp giải mã suy đoán (speculative decoding) cho phép các mô hình ngôn ngữ lớn xác minh nhiều dự đoán token trong một lần chạy thuận (forward pass), giảm độ trễ do giới hạn bộ nhớ mà không làm thay đổi phân phối đầu ra.
Kubernetes giới thiệu phần mở rộng Gateway API cho định tuyến suy luận LLM
Dự án Kubernetes đã phát hành Phần mở rộng Suy luận của Gateway API nhằm chuẩn hóa việc định tuyến cho các khối lượng công việc AI tạo sinh, giúp giảm độ trễ và cải thiện hiệu suất sử dụng GPU.
