Cloud & hạ tầng

SageMaker KV-aware routing giảm độ trễ LLM bằng cách theo dõi trạng thái bộ nhớ đệm

AWS giới thiệu tính năng định tuyến nhận biết KV (KV-aware routing) cho SageMaker AI, sử dụng báo cáo bộ nhớ đệm thời gian thực để giảm thời gian phản hồi token đầu tiên (time-to-first-token) lên đến 97% trong các khối lượng công việc LLM đa lượt.

Hình minh họa dữ liệu được định tuyến đến các bộ nhớ đệm GPU cụ thể trong một giá đỡ máy chủ
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Amazon Web Services đã ra mắt tính năng định tuyến nhận biết bộ nhớ đệm KV (KV cache-aware routing) cho các endpoint thời gian thực của Amazon SageMaker AI. Tính năng mới này, được công bố vào ngày 17 tháng 11 năm 2026, cho phép hạ tầng phục vụ mô hình ngôn ngữ lớn (LLM) định tuyến các yêu cầu dựa trên nội dung thực tế được lưu trữ trong bộ nhớ GPU thay vì dựa vào tiền tố tĩnh của yêu cầu. Tính năng này nhắm mục tiêu đến các nhà phát triển xây dựng trợ lý trò chuyện và hệ thống sinh thành tăng cường truy xuất (retrieval-augmented generation), những người cần tối thiểu hóa độ trễ và tối đa hóa thông lượng dưới tải nặng.

Điều gì đã xảy ra

Trước đây, SageMaker cung cấp tính năng định tuyến nhận biết tiền tố (prefix-aware routing), trong đó phần đầu của payload yêu cầu được băm để hướng dẫn các prompt tương tự đến cùng một instance. Mặc dù hiệu quả đối với các system prompt ổn định, phương pháp này không thể phát hiện khi một instance loại bỏ dữ liệu đã được cache do áp lực bộ nhớ. Nếu một instance hết bộ nhớ GPU và xóa cache của nó, router vẫn sẽ gửi các yêu cầu khớp đến đó, buộc mô hình phải tính toán lại các token không còn khả dụng. Hạn chế này cũng ảnh hưởng đến các cuộc hội thoại đa lượt, nơi độ dài prompt vượt quá hash tiền tố đã cấu hình, khiến các lượt tiếp theo rơi vào các instance khác nhau và mất đi tính liên tục của ngữ cảnh.

Định tuyến nhận biết KV giải quyết vấn đề này bằng cách thiết lập vòng lặp phản hồi giữa container mô hình và router SageMaker. Container chủ động báo cáo khi nó lưu trữ hoặc loại bỏ các mục bộ nhớ đệm khóa-giá trị (KV). SageMaker duy trì một chỉ mục được quản lý của các báo cáo này, ánh xạ các hash rút gọn của nội dung đã cache với các instance cụ thể. Khi một yêu cầu mới đến, endpoint sẽ tokenize prompt và truy vấn chỉ mục này để tìm xem instance nào giữ tiền tố khớp dài nhất. Sau đó, router cân nhắc độ dài khớp cache so với tải hiện tại của các instance ứng viên, gửi yêu cầu đến lựa chọn tốt nhất có sẵn. Nếu không có instance nào có khớp cache hữu ích hoặc tất cả đều bận, hệ thống sẽ quay trở lại định tuyến nhận biết tải (load-aware routing) tiêu chuẩn.

Cách thức hoạt động

Cơ chế này dựa vào ba thành phần: container mô hình, chỉ mục cache được quản lý và logic định tuyến. Để kích hoạt tính năng này, người dùng phải đặt biến môi trường SM_VLLM_KV_EVENTS_CONFIG trong container của họ, điều này kích hoạt việc công bố các sự kiện cache KV. Các sự kiện này cập nhật chỉ mục được quản lý bằng các hash rút gọn một chiều của nội dung đã cache. Quan trọng là, chỉ mục chỉ lưu trữ các con trỏ đến các instance, không bao gồm các prompt thực tế, ID token hoặc dữ liệu tensor, nhằm bảo vệ quyền riêng tư và giảm thiểu chi phí xử lý.

Khi một yêu cầu chạm đến endpoint, hệ thống sẽ tokenize đầu vào và kiểm tra chỉ mục. Nếu Instance A giữ 6.000 token đầu tiên của lịch sử hội thoại 6.200 token, router sẽ xác định nó là ứng viên chính. Tuy nhiên, nếu Instance A hiện đang quá tải, router sẽ bỏ qua nó và chọn instance tốt thứ hai có khớp cache đáng kể. Việc cân bằng động này đảm bảo rằng các lần hit cache được ưu tiên mà không tạo ra nút thắt cổ chai. Chỉ mục tự động cập nhật khi cụm máy chủ mở rộng quy mô, loại bỏ các mục nhập cho các instance bị xóa và bắt đầu lại từ đầu cho các instance mới.

Chi tiết chính

  • Hiệu suất cải thiện: Trong các bài kiểm tra chuẩn (benchmark) sử dụng Llama 3.1 70B Instruct trên các instance ml.p5.48xlarge, định tuyến nhận biết KV đã giảm p50 time-to-first-token lên đến 97% và tăng thông lượng lên đến 234% so với định tuyến ngẫu nhiên.
  • Tỷ lệ hit cache: Tính năng này đã nâng tỷ lệ hit cache KV từ mức cơ bản 3–48% lên 80–93% trong các kịch bản thử nghiệm chat đa lượt và hỏi đáp tài liệu.
  • Yêu cầu về container: Cần có AWS vLLM Deep Learning Container với vLLM phiên bản 0.33.0 trở lên, hoặc bản build Amazon Linux server-sagemaker-cuda-v2.8.0 trở lên, với tính năng prefix caching được bật.
  • Quay lui định tuyến (Fallback): Nếu tra cứu cache không mang lại kết quả khớp hoặc tất cả các instance khớp đều bận, endpoint sẽ mặc định chuyển sang chiến lược định tuyến LEAST_OUTSTANDING_REQUESTS, đảm bảo các yêu cầu luôn được phục vụ.
  • Không cần tinh chỉnh thủ công: Khác với định tuyến nhận biết tiền tố, định tuyến nhận biết KV không yêu cầu cấu hình tham số PrefixLength, vì nó khớp dựa trên các token thực tế đã được cache.
  • Quy mô tối thiểu: Chiến lược này chỉ hoạt động khi endpoint có ít nhất hai instance hoặc hai bản sao của một inference component.

Tại sao điều này quan trọng

Đối với các nhóm kỹ thuật phục vụ LLM, chi phí và độ trễ của việc tính toán lại các cơ chế attention cho các ngữ cảnh dài là những nút thắt cổ chai đáng kể. Các cuộc hội thoại đa lượt và ứng dụng RAG thường chia sẻ nhiều phần văn bản, chẳng hạn như chỉ dẫn hệ thống (system instructions) hoặc tài liệu được truy xuất. Bằng cách đảm bảo các tiền tố chung này vẫn được cache trên instance xử lý yêu cầu, định tuyến nhận biết KV giảm đáng kể khối lượng công việc tính toán cần thiết cho mỗi token mới. Hiệu quả này chuyển đổi trực tiếp thành chi phí hạ tầng thấp hơn và thời gian phản hồi nhanh hơn cho người dùng cuối, đặc biệt là trong các môi trường đồng thời cao nơi bộ nhớ GPU thường xuyên bị tranh chấp.

Bản cập nhật này cũng đơn giản hóa độ phức tạp vận hành. Các nhà phát triển không còn cần đoán PrefixLength tối ưu cho khối lượng công việc của họ hoặc lo lắng về việc eviction cache làm vô hiệu hóa chiến lược định tuyến của họ. Hệ thống tự động thích ứng với trạng thái thay đổi của bộ nhớ GPU, cung cấp một giải pháp mạnh mẽ hơn cho các khối lượng công việc động. Mặc dù định tuyến nhận biết tiền tố vẫn là một lựa chọn khả thi cho các prompt đơn giản và ổn định, định tuyến nhận biết KV cung cấp một cơ chế tự sửa lỗi ưu việt hơn cho các ứng dụng AI tương tác phức tạp.

Những gì bạn có thể làm

  • Cập nhật các container mô hình SageMaker của bạn để sử dụng AWS vLLM Deep Learning Container v0.33.0 trở lên.
  • Đặt biến môi trường SM_VLLM_KV_EVENTS_CONFIG trong cấu hình container của bạn để kích hoạt báo cáo sự kiện cache.
  • Sửa đổi cấu hình endpoint của bạn để đặt RoutingStrategy thành KV_AWARE trong RoutingConfig.
  • Đảm bảo ứng dụng của bạn gửi các yêu cầu ở định dạng Completions hoặc Chat Completions tương thích OpenAI để hỗ trợ khớp dựa trên token.
  • Giám sát các chỉ số time-to-first-token và thông lượng để xác minh cải thiện tỷ lệ hit cache, vì các sự kiện quay lui (fallback) chưa hiển thị trong console.
  • Kiểm thử với ít nhất hai instance để kích hoạt chiến lược định tuyến, vì nó không có tác dụng đối với các triển khai một instance.
  • #aws
  • #sagemaker
  • #llm ops
  • #inference
  • #machine learning

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Tất cả bài viết