Chuyển đổi KV hai chiều giúp giảm độ trễ trong các khối lượng công tác agentic đa lượt

Amazon Web Services đã giới thiệu một phương pháp giúp giảm đáng kể độ trễ trong các ứng dụng agentic đa lượt bằng cách kích hoạt tính năng chuyển đổi bộ nhớ đệm key-value (KV) hai chiều trong framework phục vụ vLLM. Được công bố vào ngày 19 tháng 10 năm 2026, phương pháp này cho phép các nút prefill và decode chia sẻ ngữ cảnh được lưu trữ theo cả hai hướng, loại bỏ việc tính toán dư thừa khi lịch sử hội thoại mở rộng.

Chuyện gì đã xảy ra

Trong các quy trình làm việc agentic đa lượt điển hình, một agent tích lũy ngữ cảnh bằng cách suy luận, gọi các công cụ và kết hợp các kết quả trước đó. Các client thường gửi lại toàn bộ lịch sử hội thoại—bao gồm chỉ dẫn hệ thống, các prompt trước đó, đầu ra của công cụ và phản hồi từ mô hình—với mỗi lượt mới. Trong kiến trúc phục vụ tách rời Prefill-Decode (P-D), các yêu cầu được phân chia giữa các nút chuyên biệt: một nút prefill xử lý prompt để xây dựng bộ nhớ đệm KV, và một nút decode truy xuất các khối này để tạo ra phản hồi. Tuy nhiên, các triển khai tiêu chuẩn chỉ chuyển đổi bộ nhớ đệm KV theo một chiều, từ prefill sang decode.

Luồng một chiều này tạo ra những điểm kém hiệu quả. Sau khi tạo ra phản hồi, nút decode giữ các mục KV cho cả prompt gốc và các token mới. Khi lượt tiếp theo đến, nút prefill không thể truy cập các mục này và phải tính toán lại các phép chiếu KV cho phản hồi trước đó. Ngoài ra, vì các nút decode duy trì trạng thái phiên trong khi các nút prefill thì không, các phiên đang hoạt động trên nút prefill đối mặt với rủi ro cao hơn về việc bị xóa khỏi bộ nhớ đệm. Một trường hợp miss cache hoàn toàn buộc nút prefill phải tính toán lại toàn bộ lịch sử, tiêu tốn tài nguyên máy gia tốc và tăng thời gian cho token đầu tiên (TTFT).

Để giải quyết vấn đề này, các kỹ sư AWS đã mở rộng connector KV của NVIDIA Inference Xfer Library (NIXL) trong vLLM để hỗ trợ chuyển đổi hai chiều. Điều này cho phép các nút decode trả lại các khối KV đã được tính toán trước đó cho các nút prefill cho các lượt tiếp theo. Tính năng này đã được xác thực trên các instance Amazon EC2 P5en kết nối qua AWS Elastic Fabric Adapter (EFA), cho thấy nó giảm TTFT lên tới 1,6 lần đối với mô hình Qwen3-32B và lên tới 3,3 lần đối với mô hình zai-org/GLM-5-FP8 trong các benchmark đa lượt.

Cách thức hoạt động

Chuyển đổi KV hai chiều dựa vào một router nhận biết bộ nhớ đệm KV và các chính sách giữ lại khối được nâng cao. Router hoạt động như một control plane nhẹ, có trạng thái, ánh xạ ID cuộc hội thoại của client sang các tham số chuyển đổi KV của nút decode. Nó chỉ lưu trữ siêu dữ liệu vị trí khối, không phải các tensor thực tế, lấy thông tin này từ luồng phản hồi. Ở lượt đầu tiên, cache bị miss và yêu cầu đi theo đường dẫn tiêu chuẩn. Sau đó, router lưu siêu dữ liệu của nút decode. Ở các lượt tiếp theo, router truy xuất siêu dữ liệu này, cho phép nút prefill tái sử dụng các khối KV từ nút decode thay vì tính toán lại chúng.

Nút decode giữ lại các khối KV đủ điều kiện trong một khoảng thời gian tồn tại (TTL) có thể cấu hình, mặc định là 480 giây, thay vì giải phóng chúng ngay lập tức sau khi tạo. Điều này đảm bảo ngữ cảnh vẫn khả dụng cho lượt tiếp theo. Để ngăn chặn chi phí phát sinh vượt quá lợi ích đối với các prefix ngắn, cài đặt kv_recompute_threshold kiểm soát khi nào việc tái sử dụng diễn ra. Nếu số lượng token có thể tái sử dụng thấp hơn ngưỡng này (mặc định 64), nút prefill sẽ tính toán lại cục bộ; ngược lại, nó sẽ kéo KV từ nút decode thông qua thao tác NIXL READ.

Chi tiết chính

• Chuyển đổi KV hai chiều giảm TTFT lên tới 1,6 lần cho Qwen3-32B và 3,3 lần cho zai-org/GLM-5-FP8 trong các cấu hình được thử nghiệm.
• Tính năng này yêu cầu vLLM v0.21.0 trở lên cùng với NixlConnector và phải được kích hoạt trên cả server prefill và decode.
• AWS EFA hỗ trợ GPUDirect RDMA và Neuron Direct RDMA, cho phép truy cập bộ nhớ trực tiếp giữa các thiết bị GPU hoặc Trainium.
• Các nút decode giữ lại các khối KV trong một TTL có thể cấu hình (mặc định 480 giây) để hỗ trợ tái sử dụng qua các lượt.
• Ngưỡng kv_recompute_threshold (mặc định 64 token) ngăn chặn chi phí mạng không cần thiết cho các prefix tái sử dụng ngắn.
• Router nhận biết bộ nhớ đệm KV duy trì ánh xạ trong bộ nhớ từ ID cuộc hội thoại sang các tham số chuyển đổi KV mà không lưu trữ các tensor.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng trợ lý hội thoại và ứng dụng agentic, quản lý cửa sổ ngữ cảnh ngày càng mở rộng là một nút thắt cổ chai chính. Khi lịch sử tương tác dài hơn, việc tính toán prefill lặp đi lặp lại tiêu tốn tài nguyên máy gia tốc đáng kể và làm tăng độ trễ. Bằng cách cho phép các nút prefill tái sử dụng các khối KV được giữ lại bởi các nút decode, chuyển đổi hai chiều giảm thiểu sự dư thừa này. Điều này dẫn đến hiệu suất TTFT ổn định hơn ngay cả khi các cuộc hội thoại kéo dài, cải thiện trải nghiệm người dùng và mức độ sử dụng tài nguyên.

Kiến trúc này cũng nhấn mạnh tầm quan trọng của các liên kết nội bộ hiệu quả như AWS EFA đối với suy luận phân tán. Chi phí nhỏ của việc chuyển đổi các khối KV (30–130 ms trong các bài kiểm tra) được bù đắp hoàn toàn bởi khoản tiết kiệm thời gian tính toán lại, đặc biệt là đối với các mô hình lớn hơn như GLM-5-FP8. Điều này gợi ý rằng tối ưu hóa việc di chuyển dữ liệu giữa các nút chuyên biệt cũng quan trọng như tối ưu hóa bản thân việc thực thi mô hình đối với các hệ thống agentic có khả năng mở rộng.

Bạn có thể làm gì

• Nâng cấp lên vLLM v0.21.0 trở lên và kích hoạt bidirectional_kv_xfer trên cả server prefill và decode.
• Triển khai một router nhận biết bộ nhớ đệm KV để quản lý luồng siêu dữ liệu giữa các client và các nút phục vụ.
• Tinh chỉnh tham số decoder_kv_blocks_ttl dựa trên thời gian dự kiến giữa các lượt của người dùng để cân bằng mức sử dụng bộ nhớ và khả năng tái sử dụng.
• Điều chỉnh kv_recompute_threshold theo thời gian tính toán của mô hình và hiệu suất liên kết nội bộ của bạn.
• Sử dụng các instance hỗ trợ AWS EFA như P5en cho các chuyển đổi RDMA độ trễ thấp nếu triển khai trên hạ tầng AWS.
• Tái hiện benchmark bằng cách sử dụng hướng dẫn được cung cấp để xác thực mức tăng hiệu suất cho khối lượng công việc và mô hình cụ thể của bạn.