Xây dựng với AI

Giảm 71% chi phí token cho agent LLM bằng cách offload sang S3 và phân trang

Các kỹ sư AWS đã giảm độ trễ 80% và mức tiêu thụ token 71% trong các agent Amazon Bedrock bằng cách chuyển các payload JSON lớn sang S3 và triển khai cơ chế phân trang kết quả theo yêu cầu.

Hình minh họa việc offload dữ liệu JSON nặng sang lưu trữ đám mây
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Các kỹ sư của Amazon Web Services (AWS) vừa công bố một bài phân tích kỹ thuật chi tiết về cách họ tối ưu hóa một AI agent trong môi trường sản xuất cho Flightscape, một nền tảng vận hành hàng không. Bằng việc áp dụng ba chiến lược cụ thể để xử lý các đầu vào JSON lớn, nhóm đã giảm mức tiêu thụ token lên đến 71% và cắt giảm độ trễ trung bình lên đến 80%. Bài viết, được công bố vào ngày 17 tháng 11 năm 2026, cung cấp một khuôn mẫu cho các nhà phát triển xây dựng hệ thống agent đang gặp khó khăn với giới hạn cửa sổ ngữ cảnh (context window) và chi phí suy luận cao.

Chuyện gì đã xảy ra

Nhóm Flightscape đã xây dựng một agent Tối ưu hóa Lịch đào tạo (Training Schedule Optimization) sử dụng LangGraph và Amazon Bedrock AgentCore. Agent này giúp các hãng hàng không xác minh các phân công đào tạo phi hành đoàn dựa trên các quy tắc nghiệp vụ phức tạp, xử lý các đầu vào có thể vượt quá 20 megabyte. Hệ thống tích hợp hơn 40 công cụ và xử lý các tập dữ liệu có cấu trúc khổng lồ, bao gồm các yêu cầu tối ưu hóa, phản hồi và báo cáo xác thực. Mặc dù chức năng hoạt động ổn định, phiên bản ban đầu gặp phải các nút thắt cổ chai hiệu suất nghiêm trọng. Độ trễ trung bình mỗi yêu cầu vượt quá 15 giây, và chi phí vận hành agent trở nên quá đắt đỏ do mức tiêu thụ token quá mức.

Vấn đề cốt lõi nằm ở kiến trúc: mỗi lần gọi công cụ đều bơm toàn bộ payload của nó vào cửa sổ ngữ cảnh của mô hình ngôn ngữ lớn (LLM). Khi cuộc hội thoại kéo dài qua nhiều lượt, các đối tượng JSON lớn này chồng chất lên nhau, làm đầy cửa sổ ngữ cảnh trước khi agent kịp hoàn thành quá trình suy luận. Để giải quyết vấn đề này, nhóm đã tái kiến trúc cách agent quản lý trạng thái và truy xuất dữ liệu. Họ từ bỏ việc giữ các artifact nặng trực tiếp trong trạng thái hội thoại và thay vào đó áp dụng phương pháp lai, sử dụng Amazon Simple Storage Service (S3) cho lưu trữ và các tham chiếu nhẹ cho quản lý phiên.

Cách thức hoạt động

Quá trình tối ưu hóa dựa trên ba chiến lược có thể kết hợp, tách biệt dữ liệu nặng khỏi ngữ cảnh suy luận đang hoạt động. Thứ nhất, nhóm đã triển khai mẫu "khử nước" (dehydration) và "bồi nước" (hydration) cho trạng thái phiên. Thay vì lưu trữ các payload JSON thô trong bộ nhớ Amazon Bedrock AgentCore, agent chỉ lưu trữ các tham chiếu dựa trên nội dung (content-addressed references). Khi bắt đầu một lượt, hàm hydrate_state() khôi phục dữ liệu phiên nhẹ. Khi kết thúc lượt, dehydrate_state() loại bỏ các payload nặng, tải chúng lên S3 và chỉ lưu lại các khóa tham chiếu dựa trên SHA-256. Điều này đảm bảo rằng các payload giống hệt nhau không bị tải lên hai lần, tận dụng kỹ thuật content addressing để đạt tính idempotency.

Thứ hai, nhóm đã giới thiệu cơ chế phân trang theo yêu cầu cho các kết quả danh sách lớn. Khi một công cụ trả về danh sách vượt quá kích thước mẫu cụ thể, toàn bộ kết quả sẽ được lưu trữ trong S3. Mô hình chỉ nhận được một tóm tắt gọn nhẹ chứa tổng số lượng, một mẫu nhỏ và một tay cầm kết quả (result handle). Nếu agent cần thêm dữ liệu, nó sẽ gọi get_result_page_tool với tay cầm, offset và limit để truy xuất các lát cắt cụ thể. Cơ chế này ngăn chặn việc cửa sổ ngữ cảnh bị ngập lụt bởi dữ liệu không sử dụng.

Thứ ba, đối với các đầu ra từ điển (dictionary) quá khổ, nhóm sử dụng kỹ thuật nén dựa trên mô tả (descriptor-based compaction). Thay vì gửi nguyên văn các từ điển lồng nhau, agent tạo ra một tóm tắt cấu trúc. Các danh sách được biểu diễn bằng số lượng và một mẫu, trong khi các từ điển lồng nhau được tóm tắt bằng số lượng khóa. Các giá trị vô hướng vẫn được giữ nguyên trực tiếp. Cách này cho phép mô hình hiểu cấu trúc dữ liệu mà không tốn token cho toàn bộ nội dung, chỉ truy xuất chi tiết khi cần thiết thông qua tay cầm kết quả.

Chi tiết chính

  • Quá trình tối ưu hóa đã giảm mức tiêu thụ token lên đến 71% và cắt giảm độ trễ trung bình lên đến 80% trên một payload đại diện dung lượng 23 MB.
  • Giải pháp sử dụng bộ nhớ Amazon Bedrock AgentCore cho việc lưu trữ trạng thái nhẹ và Amazon S3 cho việc lưu trữ các artifact nặng.
  • Kỹ thuật content addressing thông qua hash SHA-256 đảm bảo rằng các payload giống hệt nhau sẽ tái sử dụng các đối tượng S3 hiện có, tránh các lần tải lên dư thừa.
  • Kết quả công cụ lớn hơn ngưỡng mẫu sẽ trả về một tay cầm và tóm tắt, đòi hỏi các lệnh gọi phân trang tường minh để truy xuất dữ liệu đầy đủ.
  • Việc nén từ điển bảo toàn các manh mối cấu trúc như kiểu trường và số lượng, đồng thời loại bỏ nội dung lồng nhau dài dòng.
  • Kiến trúc được xây dựng với LangGraph, Python 3.12+, và boto3, chạy trên Amazon Bedrock với Guardrails để xác thực phản hồi.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng agent trong môi trường sản xuất, quản lý cửa sổ ngữ cảnh thường là yếu tố quyết định giữa một sản phẩm khả thi và một thất bại tốn kém. Khi các agent được quyền truy cập vào nhiều công cụ và tập dữ liệu lớn hơn, cách tiếp cận ngây thơ là truyền toàn bộ payload dẫn đến sự tăng trưởng chi phí theo cấp số nhân và các đỉnh điểm độ trễ. Nghiên cứu tình huống này chứng minh rằng coi ngữ cảnh LLM là một tài nguyên khan hiếm, chứ không phải một bộ đệm vô hạn, là điều thiết yếu cho khả năng mở rộng. Bằng cách tách biệt lưu trữ dữ liệu khỏi ngữ cảnh suy luận, các nhà phát triển có thể duy trì quyền truy cập độ trung thực cao vào các tập dữ liệu lớn mà không phải trả tiền cho từng byte trong mỗi lượt.

Các kỹ thuật được mô tả ở đây về nguyên tắc độc lập với framework, mặc dù được triển khai với LangGraph và Bedrock. Khái niệm bồi nước và khử nước trạng thái có thể được áp dụng cho bất kỳ framework điều phối nào hỗ trợ kho lưu trữ trạng thái bên ngoài. Tương tự, phân trang kết quả và nén dựa trên mô tả giải quyết các thách thức phổ biến trong xử lý dữ liệu có cấu trúc. Những mẫu thiết kế này cho phép các nhóm xây dựng agent xử lý đầu vào quy mô doanh nghiệp trong khi giữ cho chi phí suy luận dự đoán được và thời gian phản hồi thấp.

Bạn có thể làm gì

  • Kiểm toán cấu trúc trạng thái của agent để xác định các payload nặng hiện đang được lưu trữ trực tiếp trong bộ nhớ hội thoại.
  • Triển khai một lớp lưu trữ dựa trên nội dung (content-addressed storage layer) sử dụng S3 hoặc kho lưu trữ đối tượng tương tự để offload các artifact JSON lớn.
  • Thay thế các kết quả trả về trực tiếp từ công cụ bằng các đối tượng tóm tắt bao gồm tay cầm kết quả cho các danh sách hoặc từ điển quá khổ.
  • Xây dựng các công cụ phân trang cho phép mô hình yêu cầu các lát cắt dữ liệu cụ thể bằng cách sử dụng offset và limit khi cần thiết.
  • Sử dụng nén dựa trên mô tả cho các từ điển lồng nhau để bảo toàn hiểu biết về cấu trúc mà không cần bơm toàn bộ nội dung.
  • Kiểm thử agent của bạn với các payload lớn thực tế để đo lường cải thiện độ trễ và tiết kiệm token sau khi tái cấu trúc.
  • #amazon bedrock
  • #llm optimization
  • #agent architecture
  • #token costs
  • #aws

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết