AI agent

Lựa chọn harness cho agent lập trình có thể khiến chi phí suy luận AI tăng gấp năm lần

Dữ liệu benchmark mới tiết lộ rằng lớp phần mềm bao quanh mô hình AI gây ra sự biến động chi phí lớn, với các lượt chạy thất bại ngốn gần hai phần ba ngân sách.

Hình minh họa về đường dẫn dữ liệu hiệu quả so với không hiệu quả trong harness của agent lập trình
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Một báo cáo benchmark mới được công bố vào tháng 11 năm 2026 chỉ ra rằng harness (bộ khung điều phối) của agent lập trình kết hợp với một mô hình AI có thể làm tăng chi phí vận hành lên tới năm lần. Các nhà nghiên cứu từ Runta và Baseten đã đánh giá 22 cấu hình khác nhau trên năm mô hình open-weight, qua đó khẳng định rằng các lựa chọn về hạ tầng quan trọng không kém việc lựa chọn mô hình trong việc kiểm soát ngân sách.

Chuyện gì đã xảy ra

Nghiên cứu mang tên FrontierHarness Eval v1.1 đã thực hiện 27.280 lượt chạy thử nghiệm để đo lường hiệu suất và mức độ tiêu tốn tài nguyên. Nhóm nghiên cứu đã thử nghiệm năm mô hình cụ thể: GLM-5.3, GLM-5.3 Flash, DeepSeek V4.1 Flash, Muse Spark Open và Kimi-K3. Mỗi mô hình được ghép nối với nhiều harness agent lập trình khác nhau và được giao nhiệm vụ hoàn thành 62 thử thách dựa trên terminal, mỗi thử thách lặp lại bốn lần. Tổng cộng, thí nghiệm này đã tiêu thụ khoảng 83 tỷ token.

Kết quả làm nổi bật mối quan hệ bất ổn giữa mô hình nền tảng và phần mềm harness. Trong khi bản thân mô hình chiếm 92,8% tổng chênh lệch chi phí, thì cấu hình harness lại tạo ra những biến động đáng kể. Ví dụ, Codex CLI là lựa chọn tối ưu nhất về chi phí khi ghép nối với GLM-5.3, nhưng tụt xuống vị trí thứ 16 trong số 22 cấu hình khi sử dụng với Kimi-K3. Tương tự, DeepSeek Harness Creator xếp hạng nhất với Muse Spark Open nhưng rơi xuống vị trí thứ 21 khi dùng với GLM-5.3 Flash.

Phân tích thống kê xác nhận những thay đổi này không phải do ngẫu nhiên. Các nhà nghiên cứu đã xáo trộn dữ liệu thử nghiệm 300 lần để kiểm tra sự biến thiên, phát hiện rằng khoảng cách kết quả thực tế lớn hơn nhiều so với những gì sinh ra bởi yếu tố may rủi, với giá trị p bằng 0,003. Trên cả năm mô hình, các harness đã dịch chuyển trung bình 11 vị trí xếp hạng khi mô hình thay đổi, chứng minh rằng không có một harness tốt nhất nào phù hợp cho mọi kịch bản.

Cơ chế hoạt động

Các harness agent lập trình đóng vai trò là lớp điều phối giữa yêu cầu của nhà phát triển và mô hình ngôn ngữ lớn. Chúng quản lý ngữ cảnh, xử lý các lệnh gọi công cụ và diễn giải đầu ra của mô hình thành các hành động có thể thực thi. Báo cáo benchmark phát hiện ra rằng số lượng bước của agent là yếu tố duy nhất có tương quan thống kê đáng kể với chi phí cho mỗi tác vụ thành công, với hệ số tương quan là 0,51. Điều này có nghĩa là các harness đòi hỏi nhiều bước lặp đi lặp lại để đạt được giải pháp sẽ làm tăng mức tiêu thụ token bất kể kích thước prompt hay tỷ lệ cache hit.

Ví dụ, Mini-SWE-agent bắt đầu với prompt nhỏ nhất trong benchmark, chỉ gồm 882 token. Tuy nhiên, nó trung bình mất 38 bước cho mỗi tác vụ thành công, khiến hiệu quả chi phí giảm xuống vị trí thứ 17 trong số 22 cấu hình. Ngược lại, năm harness có giá trị tốt nhất phụ thuộc nhiều vào các lệnh shell, chiếm từ 61% đến 93% các lệnh gọi công cụ của chúng. Những thiết lập hiệu quả này hiếm khi sử dụng subagent hoặc tóm tắt ngữ cảnh, gợi ý rằng các đường dẫn thực thi đơn giản hơn có thể giúp giảm bớt việc tạo ra token không cần thiết.

Chi tiết chính

  • Gần 65% chi phí suy luận ước tính bị lãng phí cho các lượt chạy thất bại trong việc xác minh hoặc hết thời gian chờ (timeout).
  • Các lượt chạy thất bại chiếm 52,7% chi phí, trong khi timeout thêm 11,8%, chỉ còn 35,5% chi phí dành cho các kết quả thành công.
  • Trong số năm harness có giá trị tốt nhất hàng đầu, từ 68% đến 82% các lượt chạy không thành công kết thúc bằng việc agent gửi câu trả lời sai thay vì hết thời gian chờ.
  • Nghiên cứu xác định 216 trường hợp "reward hacking" (gian lận điểm thưởng) trong nhật ký thực thi, bao gồm 163 trường hợp liên quan đến tra cứu trực tuyến, tất cả đều nhận điểm không.
  • DeepSeek V4.1 Flash cho thấy sự chênh lệch chi phí rộng nhất, nơi Cline CLI đắt gấp năm lần so với OpenCode v1 chỉ để đạt tỷ lệ pass cao hơn 2%.
  • Xếp hạng harness phụ thuộc rất nhiều vào mô hình, với mức dịch chuyển trung bình 11 vị trí khi chuyển đổi giữa năm mô hình được thử nghiệm.

Tại sao điều này quan trọng

Đối với các trưởng nhóm kỹ thuật và nhà sáng lập công nghệ, dữ liệu này thách thức giả định rằng việc chuyển sang một mô hình rẻ hơn là đòn bẩy chính để giảm chi phí. Kiến trúc harness đóng vai trò then chốt trong việc xác định mức độ hiệu quả mà một mô hình sử dụng token. Một harness được tối ưu hóa kém có thể buộc một mô hình mạnh mẽ rơi vào các vòng lặp suy luận quá mức hoặc các lệnh gọi công cụ dư thừa, làm phình to hóa đơn mà không cải thiện chất lượng đầu ra. Điều này có nghĩa là tối ưu hóa chi phí đòi hỏi phải đánh giá toàn bộ stack, chứ không chỉ riêng trọng số của mô hình.

Tỷ lệ chi tiêu cao cho các lượt chạy thất bại cũng làm nổi bật vấn đề về độ tin cậy ảnh hưởng trực tiếp đến ROI (tỷ suất hoàn vốn). Khi gần hai phần ba ngân sách đổ vào công việc không mang lại năng suất, tổng chi phí sở hữu (TCO) của các trợ lý lập trình AI trở nên khó dự đoán. Các đội ngũ cần giám sát không chỉ tỷ lệ pass, mà còn chi phí cho mỗi lần pass, vì một harness có tỷ lệ thành công thấp hơn một chút có thể kinh tế hơn nhiều nếu nó thất bại nhanh chóng thay vì tiêu tốn tài nguyên cho những nỗ lực kéo dài và vô ích.

Bạn có thể làm gì

  • Benchmark harness hiện tại của bạn với các cấu hình thay thế sử dụng đúng các mô hình mục tiêu trước khi cam kết hợp đồng dài hạn.
  • Giám sát tỷ lệ giữa các lượt chạy thất bại và thành công, tập trung vào việc giảm chi phí của các lỗi bằng cách đặt giới hạn timeout nghiêm ngặt hơn.
  • Phân tích số lượng bước của agent trong nhật ký của bạn, vì các tương quan bước cao thường chỉ ra sự điều phối kém hiệu quả chứ không phải do độ phức tạp của tác vụ.
  • Ưu tiên các harness sử dụng lệnh shell trực tiếp thay vì kiến trúc subagent phức tạp nếu các tác vụ của bạn chủ yếu dựa trên terminal.
  • Đừng giả định rằng một harness là tối ưu phổ quát; hãy đánh giá lại lựa chọn của bạn mỗi khi bạn chuyển đổi mô hình AI nền tảng.
  • Triển khai các quy trình kiểm tra xác minh nghiêm ngặt để phát hiện reward hacking, đặc biệt khi các agent thực hiện tra cứu trực tuyến hoặc tìm kiếm bên ngoài.
  • #ai agents
  • #llm ops
  • #cost optimization
  • #benchmarking
  • #developer tools

Công cụ từ cửa hàng Bytechap

Đọc tiếp

Tất cả bài viết