AI agent

TokenEconomizer giảm chi phí cho tác nhân lập trình AI bằng cách học từ các phiên làm việc trước

Microsoft Research và UC Berkeley giới thiệu một plugin mã nguồn mở giúp giảm mức sử dụng token cho các tác nhân lập trình AI bằng cách tận dụng lịch sử kho lưu trữ (repository) mà không cần thay đổi mô hình nền tảng.

Một cuốn sổ tay kỹ thuật số đang hấp thụ ánh sáng từ các tài liệu giấy trên bàn.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Các nhà nghiên cứu từ Microsoft Research, Microsoft Security và UC Berkeley đã phát hành TokenEconomizer, một plugin mã nguồn mở được thiết kế để hạ thấp chi phí vận hành của các tác nhân lập trình AI. Được công bố vào ngày 16 tháng 11 năm 2026, công cụ này giải quyết tình trạng kém hiệu quả khi các tác nhân khởi động lại mỗi phiên làm việc từ đầu, bỏ qua ngữ cảnh giá trị từ những tương tác trước đó trong cùng một mã nguồn.

Chuyện gì đã xảy ra

Các tác nhân lập trình AI đang trở thành những công cụ tiêu chuẩn để sửa lỗi và xây dựng tính năng, nhưng sự phụ thuộc vào các mô hình ngôn ngữ lớn khiến chúng tốn kém khi vận hành. Mỗi lần tương tác đều tiêu tốn token vì tác nhân gửi các chỉ dẫn, mô tả công cụ và lịch sử đến mô hình. Trong khi các nhà phát triển thường làm việc trên cùng một kho lưu trữ ngày này qua ngày khác, hầu hết các tác nhân lại không duy trì kiến thức giữa các phiên làm việc, dẫn đến những sai lầm lặp đi lặp lại và tính toán thừa.

Để định lượng sự lãng phí này, nhóm nghiên cứu đã phân tích hiệu suất của Claude Code trên 60 tác vụ từ SWE-Bench, một bộ chuẩn đo lường (benchmark) cho việc sửa lỗi thực tế trong các dự án Python mã nguồn mở. Họ xác định ba nguồn gốc chính của sự kém hiệu quả: khám phá lại các thông tin đã biết từ các tác vụ trước, trả tiền cho các mô tả công cụ không được sử dụng và mắc kẹt trong các vòng lặp thất bại. Ví dụ, sau khi hoàn thành năm tác vụ trong một kho lưu trữ, 30% các lệnh gọi công cụ là sự lặp lại các hành động từ các phiên trước đó. Ngoài ra, các tác nhân nhận được 23 mô tả công cụ mỗi lượt nhưng chỉ sử dụng bảy, trong khi các tác vụ thất bại chiếm gần một phần ba tổng chi phí mặc dù chỉ đại diện cho 17% khối lượng công việc.

Các plugin tiết kiệm chi phí hiện có thường áp dụng những chiến lược cố định không thích ứng với nhu cầu cụ thể của từng kho lưu trữ. TokenEconomizer tiếp cận theo hướng khác bằng cách coi mỗi phiên làm việc đã hoàn thành là một cơ hội học hỏi. Nó hoạt động như một bộ điều khiển hộp đen (black-box controller) đặt song song với tác nhân, phân tích nhật ký để cập nhật hiểu biết về kho lưu trữ mà không yêu cầu thay đổi bản thân tác nhân hoặc mô hình nền tảng của nó.

Cách thức hoạt động

TokenEconomizer hoạt động thông qua ba cơ chế thích ứng nhằm tinh chỉnh hành vi của tác nhân theo thời gian. Đầu tiên, nó tạo ra các micro-skills (kỹ năng vi mô), tức là những ghi chú một dòng nắm bắt các mẫu đặc thù của kho lưu trữ. Những ghi chú này chỉ được thêm vào ngữ cảnh của tác nhân sau khi nhiều phiên làm việc xác nhận tính hợp lệ của chúng, và sẽ bị loại bỏ nếu các bằng chứng sau đó mâu thuẫn với chúng. Điều này đảm bảo tác nhân giữ lại các lối tắt hữu ích mà không tích lũy thông tin lỗi thời hoặc sai lệch.

Thứ hai, công cụ thực hiện cắt tỉa công cụ động (dynamic tool pruning). Nó loại bỏ các mô tả cho những công cụ mà dữ liệu lịch sử cho thấy khó có khả năng được sử dụng trong kho lưu trữ hiện tại, đồng thời luôn giữ lại các chức năng cốt lõi để chạy lệnh và chỉnh sửa tệp. Nếu một công cụ bị cắt tỉa trở nên cần thiết sau này, nó có thể được khôi phục. Thứ ba, một cơ chế can thiệp vòng lặp thất bại giám sát tác nhân để tìm kiếm các lỗi lặp đi lặp lại. Một mô hình đánh giá (judge model) sẽ xác định xem tác nhân có thực sự bị mắc kẹt hay không, và nếu đúng như vậy, nó cung cấp một ghi chú ngắn gợi ý cách tiếp cận khác. Nếu tác nhân vẫn bị mắc kẹt, plugin sẽ cảnh báo nhà phát triển thay vì dừng quy trình.

Chi tiết quan trọng

  • TokenEconomizer đã giảm chi phí từ 18,4–30,9% trên 277 tác vụ SWE-Bench khi sử dụng năm kết hợp khác nhau giữa tác nhân AI và mô hình.
  • Plugin đạt được mức tiết kiệm ở mọi kho lưu trữ được kiểm tra, với chi phí tích lũy giảm xuống dưới mức mặc định kể từ tác vụ thứ sáu.
  • Tỷ lệ thành công của tác vụ nhìn chung vẫn ổn định, và trong bốn trên năm kết hợp tác nhân-mô hình, tỷ lệ vượt qua thực tế còn được cải thiện.
  • Mức tiết kiệm cũng áp dụng cho các lĩnh vực khác, giảm chi phí từ 16,0–21,2% trên Web-Bench cho phát triển web và từ 6,4–19,6% cho các tác vụ kiểm toán bảo mật.
  • Công cụ chạy cục bộ trên máy của nhà phát triển, không yêu cầu khóa API và không thay đổi mô hình AI nền tảng.
  • Các phiên làm việc ban đầu có thể tốn kém hơn khi hệ thống đang học hỏi, nhưng lợi ích về hiệu quả sẽ tăng nhanh chóng khi kinh nghiệm tích lũy dần.

Tại sao điều này quan trọng

Đối với các đội ngũ kỹ thuật áp dụng tác nhân AI, chi phí token có thể leo thang nhanh chóng, đặc biệt khi các tác nhân hoạt động tự chủ trên những mã nguồn phức tạp. TokenEconomizer chứng minh rằng mức tiết kiệm đáng kể là khả thi mà không cần hy sinh hiệu suất hoặc đòi hỏi sự tích hợp sâu với các mô hình độc quyền. Bằng cách thích ứng với các thói quen và cấu trúc cụ thể của một kho lưu trữ, nó tránh được những cạm bẫy của các chiến lược tối ưu hóa "một cỡ vừa tất cả" vốn thường làm suy giảm khả năng của tác nhân.

Cách tiếp cận này chuyển dịch mô hình tư duy từ việc xem mỗi phiên làm việc của tác nhân là một sự kiện cô lập sang coi chúng là một phần của quá trình học tập liên tục. Nó cho phép các nhà phát triển duy trì tỷ lệ thành công cao trong khi giảm bớt gánh nặng tài chính của trợ giúp lập trình tự động. Khi các tác nhân trở nên phổ biến hơn, những công cụ cho phép chúng học hỏi từ kinh nghiệm sẽ đóng vai trò then chốt cho việc áp dụng bền vững trong môi trường sản xuất.

Bạn có thể làm gì

  • Cài đặt plugin mã nguồn mở TokenEconomizer để thử nghiệm mức giảm chi phí trong các quy trình làm việc lập trình AI hiện có của bạn.
  • Theo dõi chặt chẽ vài phiên làm việc đầu tiên, vì hệ thống cần các tác vụ ban đầu để xây dựng cơ sở kiến thức đặc thù cho kho lưu trữ.
  • Định kỳ xem xét các micro-skills được tạo ra để đảm bảo các mẫu đã học phù hợp với các tiêu chuẩn đang phát triển của dự án.
  • Kết hợp TokenEconomizer với các thực hành tốt nhất khác, chẳng hạn như kỹ thuật prompt rõ ràng, để tối đa hóa hiệu quả tổng thể.
  • Đánh giá công cụ trên các tác vụ đa dạng, bao gồm sửa lỗi và phát triển tính năng, để hiểu tác động của nó đối với các loại công việc khác nhau.
  • Đóng góp cho dự án mã nguồn mở bằng cách chia sẻ phản hồi về cách cơ chế can thiệp vòng lặp thất bại xử lý các trường hợp biên (edge cases) trong mã nguồn của bạn.
  • #ai agents
  • #cost optimization
  • #developer tools
  • #microsoft research
  • #token efficiency

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Tất cả bài viết