Giảm chi phí AI tác tử bằng phương pháp tri thức chưng cất cấp độ chuỗi trên SageMaker

Amazon Web Services đã công bố một hướng dẫn kỹ thuật minh họa cách giảm chi phí vận hành của các ứng dụng AI tác tử (agentic AI) bằng phương pháp tri thức chưng cất cấp độ chuỗi. Được phát hành vào tháng 11 năm 2026, hướng dẫn này phác thảo quy trình làm việc trên Amazon SageMaker AI, trong đó một mô hình tiên tiến lớn dạy cho một mô hình nhỏ hơn, hiệu quả hơn cách thực hiện các nhiệm vụ đa bước phức tạp. Cách tiếp cận này giải quyết vấn đề chi phí tăng theo cấp số nhân của các vòng lặp tác tử bằng cách chuyển giao khả năng suy luận sang các mô hình có tốc độ nhanh hơn và chi phí lưu trữ thấp hơn.

Chuyện gì đã xảy ra

Các ứng dụng tác tử khác biệt so với chatbot tiêu chuẩn vì chúng hoạt động theo cơ chế vòng lặp. Một yêu cầu duy nhất từ người dùng, chẳng hạn như tìm kiếm một sản phẩm cụ thể đáp ứng các ràng buộc nhất định, sẽ kích hoạt một chuỗi hành động: tìm kiếm danh mục, đọc kết quả, tinh chỉnh truy vấn, xác minh ràng buộc và đưa ra khuyến nghị cuối cùng. Mỗi bước trong vòng lặp này đều đòi hỏi một lần gọi riêng biệt tới mô hình ngôn ngữ lớn. Ở quy mô sản xuất, việc trả tiền cho từng lần gọi riêng lẻ tới mô hình tiên tiến làm xói mòn lợi tức đầu tư và có thể ngăn cản dự án được triển khai.

Để giải quyết vấn đề này, các nhà phát triển thường cân nhắc chuyển sang các mô hình nhỏ hơn. Tuy nhiên, các mô hình nhỏ thường thiếu chiều sâu suy luận cần thiết cho những nhiệm vụ sử dụng công cụ phức tạp. Hướng dẫn của AWS đề xuất phương pháp tri thức chưng cất như một cầu nối. Cụ thể, nó sử dụng tri thức chưng cất cấp độ chuỗi (SeqKD) để huấn luyện một mô hình "học sinh" nhỏ hơn dựa trên các quỹ đạo đầu ra của một mô hình "giáo viên" lớn hơn. Mục tiêu là giữ lại hành vi chất lượng cao của giáo viên trong khi tận dụng tốc độ và chi phí thấp hơn của học sinh.

Hướng dẫn đi qua một ví dụ cụ thể sử dụng trợ lý mua sắm. Nó minh họa cách tạo dữ liệu huấn luyện chất lượng cao bằng mô hình tiên tiến, lọc các kết quả thành công và tinh chỉnh một mô hình nhỏ hơn trên Amazon SageMaker AI. Quy trình này hoàn toàn dựa trên đầu ra văn bản từ giáo viên, nghĩa là nó hoạt động ngay cả khi mô hình giáo viên chỉ được truy cập qua API và trọng số nội bộ hoặc logits của nó không khả dụng.

Cơ chế hoạt động

Tri thức chưng cất cấp độ chuỗi coi toàn bộ lịch sử tương tác của tác tử như một chuỗi huấn luyện duy nhất. Khác với phương pháp chưng cất dựa trên logit, vốn đòi hỏi quyền truy cập vào phân phối xác suất nội bộ của giáo viên, SeqKD chỉ sử dụng văn bản do giáo viên tạo ra. Mô hình giáo viên tạo ra nhiều quỹ đạo tiềm năng cho một nhiệm vụ nhất định. Sau đó, một chương trình chấm điểm tự động đánh giá các quỹ đạo này, chỉ giữ lại những quỹ đạo giải quyết thành công nhiệm vụ. Kỹ thuật lấy mẫu loại bỏ (rejection sampling) này đảm bảo học sinh học từ các ví dụ đúng đắn thay vì bắt chước sai lầm của giáo viên.

Các quỹ đạo được chọn sẽ được mã hóa thành định dạng phù hợp cho việc tinh chỉnh có giám sát. Mỗi bước trong vòng lặp của tác tử—bao gồm suy luận, gọi công cụ và quan sát—được chuyển đổi thành một lượt trò chuyện. Mục tiêu huấn luyện tập trung vào phản hồi của trợ lý, dạy cho học sinh cách dự đoán bước suy luận và hành động tiếp theo dựa trên lịch sử cuộc hội thoại. Bằng cách nén các quan sát từ công cụ và cắt bỏ dữ liệu không cần thiết, phương pháp này giúp đưa các quỹ đạo đa bước dài vào giới hạn token quản lý được.

Quá trình huấn luyện diễn ra trên Amazon SageMaker AI sử dụng hạ tầng serverless. Hướng dẫn sử dụng Qwen3.5-4B làm mô hình học sinh và GLM-5.3 trên Amazon Bedrock làm mô hình giáo viên. Dịch vụ tùy chỉnh mô hình của SageMaker xử lý việc cung cấp tài nguyên tính toán và thực thi, cho phép các nhà phát triển chạy tinh chỉnh thích ứng hạng thấp (LoRA) mà không cần quản lý container hay instance. Mô hình kết quả sau đó được đánh giá trên một tập dữ liệu kiểm tra độc lập để xác nhận rằng nó đã học được hành vi của giáo viên.

Chi tiết chính

• Phương pháp: Tri thức chưng cất cấp độ chuỗi (SeqKD) sử dụng đầu ra văn bản của giáo viên cho việc tinh chỉnh có giám sát, không yêu cầu quyền truy cập vào logits hoặc trọng số của giáo viên.
• Mô hình Giáo viên: GLM-5.3 trên Amazon Bedrock tạo ra các quỹ đạo với nhiệt độ (temperature) 1.0 để khuyến khích các đường dẫn suy luận đa dạng.
• Mô hình Học sinh: Qwen3.5-4B được tinh chỉnh bằng phương pháp Thích ứng Hạng Thấp (LoRA) với hạng (rank) là 64.
• Tập dữ liệu: ShoppingBench cung cấp 750 bài toán tổng hợp; 426 bài được dùng cho huấn luyện và 324 bài cho đánh giá, chỉ giữ lại các quỹ đạo đã giải quyết thành công.
• Hạ tầng: Huấn luyện chạy trên dịch vụ tùy chỉnh mô hình Amazon SageMaker AI với SFT serverless, sử dụng độ dài tối đa của tập dữ liệu là 16.384 token.
• Đánh giá: Quy trình hai giai đoạn sử dụng một bước kiểm tra sơ bộ chi phí thấp cho độ chính xác từng bước, tiếp theo là đánh giá toàn diện vòng lặp tác tử end-to-end.

Tại sao điều này quan trọng

Đối với các nhóm kỹ sư xây dựng hệ thống tác tử, hiệu quả chi phí là rào cản chính đối với việc mở rộng quy mô. Các mô hình tiên tiến mang lại hiệu suất cao nhưng tính phí theo token, và các tác tử tiêu thụ rất nhiều token cho mỗi nhiệm vụ. Bằng cách chưng cất khả năng này vào một mô hình nhỏ hơn, các tổ chức có thể giảm đáng kể chi phí suy luận. Điều này giúp khả thi hóa việc triển khai các tác tử tinh vi trong các kịch bản khối lượng lớn, nơi áp lực biên lợi nhuận sẽ ngăn cản việc sử dụng các mô hình lớn.

Ngoài ra, SeqKD hạ thấp rào cản gia nhập cho việc phát triển tác tử tùy chỉnh. Vì nó chỉ phụ thuộc vào đầu ra văn bản, phương pháp này hoạt động với bất kỳ mô hình nào có thể truy cập qua API, bao gồm cả các mô hình tiên tiến nguồn đóng. Các đội ngũ không cần hạ tầng chuyên dụng để trích xuất logits hoặc quản lý các pipeline học tăng cường phức tạp. Khả năng tái sử dụng các tập dữ liệu đã tạo cho nhiều mô hình học sinh khác nhau còn nâng cao hơn nữa hiệu quả, cho phép cải tiến liên tục mà không cần phải tạo lại dữ liệu giáo viên tốn kém.

Bạn có thể làm gì

• Xác định các nhiệm vụ tác tử trong stack hiện tại của bạn nơi chi phí mỗi nhiệm vụ cao do nhiều lần gọi mô hình.
• Chọn một mô hình tiên tiến làm giáo viên và một mô hình nhỏ hơn, tiết kiệm chi phí làm ứng viên học sinh.
• Triển khai một chương trình chấm điểm hoặc đánh giá tự động để xác minh xem các quỹ đạo tác tử có hoàn thành nhiệm vụ thành công hay không.
• Tạo dữ liệu huấn luyện đa dạng bằng cách lấy mẫu từ mô hình giáo viên với cài đặt nhiệt độ cao hơn để khám phá các đường dẫn suy luận khác nhau.
• Mã hóa các quỹ đạo đa bước vào định dạng chat, nén các quan sát từ công cụ để vừa vặn trong giới hạn token phục vụ cho việc tinh chỉnh.
• Sử dụng các dịch vụ tinh chỉnh được quản lý như tùy chỉnh mô hình Amazon SageMaker AI để huấn luyện các mô hình học sinh mà không cần quản lý hạ tầng nền tảng.