Agent lập trình DeepSeek mất điểm trên benchmark vì dọn dẹp các tiến trình nền
DeepSeek Harness tụt hạng trên bảng xếp hạng Terminal-Bench do tự động tắt các tác vụ chạy nền, một hành vi xung đột với yêu cầu cụ thể của bài kiểm tra dù đây là thực hành tiêu chuẩn.
Được dịch tự động từ bản gốc tiếng Anh.
Agent lập trình mã nguồn mở của DeepSeek đang bị tụt lại trên một benchmark quan trọng trong ngành do một thói quen tích hợp sẵn mà các nhà phát triển thường coi là thực hành tốt nhất. Agent này tự động dọn dẹp sau khi hoàn thành bằng cách kết thúc các tiến trình nền khi một tác vụ kết thúc, điều này khiến nó thất bại ở các bài kiểm tra cụ thể yêu cầu những tiến trình đó phải tiếp tục hoạt động. Sự khác biệt này được làm nổi bật vào tháng 11 năm 2026 khi nhà nghiên cứu Joël Niklaus thêm công cụ này vào bảng xếp hạng so sánh của mình.
Chuyện gì đã xảy ra
Vấn đề nảy sinh khi Niklaus, một nhà nghiên cứu tối ưu hóa harness tại Hugging Face, tích hợp DeepSeek Harness vào bảng xếp hạng agent lập trình của anh. Bảng xếp hạng này so sánh mười harness agent khác nhau chạy trên cùng các mô hình nền tảng giống hệt nhau để cô lập tác động của lớp điều phối (orchestration layer). Mặc dù DeepSeek Harness thể hiện hiệu suất xuất sắc tổng thể, đồng hạng nhất trong năm bài đánh giá có tính điểm, nhưng nó lại rơi xuống vị trí thứ sáu cụ thể trên Terminal-Bench.
Khoảng cách hiệu suất được truy nguyên từ ba tác vụ cụ thể trong Terminal-Bench yêu cầu các tiến trình nền phải tiếp tục chạy sau khi lệnh ban đầu được đưa ra. Theo thiết kế, DeepSeek Harness sẽ tắt các tiến trình này khi nó coi tác vụ đã hoàn tất. Trong các thử nghiệm sử dụng mô hình DeepSeek-V4.1-Flash và GLM-5.3-Flash, agent chỉ vượt qua hai trong số 36 lần thử đối với các tác vụ cụ thể này. Ngược lại, các agent cạnh tranh như OpenCode, Pi và Hermes Agent của Nous Research đã vượt qua cả 36 lần thử cho cùng các tác vụ vì chúng không áp dụng chính sách dọn dẹp nghiêm ngặt này.
Sự khác biệt về hành vi đơn lẻ này đã làm giảm điểm số của DeepSeek Harness từ 1,5 đến 1,7 phần trăm. Trên mô hình DeepSeek-V4.1-Flash được cấu hình cho nỗ lực suy luận cao, mức phạt này lớn hơn toàn bộ khoảng cách 1,3 điểm phân tách DeepSeek với dẫn đầu bảng xếp hạng. Nhật ký thay đổi (changelog) của bảng xếp hạng xác nhận rằng hành vi tắt tiến trình này là một tính năng có chủ đích của DeepSeek Harness, và điểm số được giữ nguyên để phản ánh hiệu suất thực tế.
Cách thức hoạt động
DeepSeek Harness sử dụng một sổ đăng ký công việc (job registry) cục bộ được thiết kế để tồn tại ngắn hạn. Theo tài liệu kỹ thuật của DeepSeek, thành phần này dành cho các công việc nên sống trong quy trình harness và kết thúc khi quy trình đó kết thúc. Kiến trúc này đảm bảo rằng tài nguyên không bị rò rỉ và môi trường vẫn sạch sẽ cho các tác vụ tiếp theo. Tuy nhiên, nó tạo ra xung đột với các quy trình làm việc phụ thuộc vào dịch vụ nền bền vững, chẳng hạn như máy chủ web hoặc daemon chạy dài hạn, những thứ phải tồn tại ngoài ngữ cảnh thực thi tức thì.
Đối với các tác vụ yêu cầu sự bền vững qua các lần khởi động lại hoặc thực thi quy trình độc lập, tài liệu khuyên dùng một backend khác. Hiện tại, agent không phân biệt giữa các script hỗ trợ tạm thời và các dịch vụ nền thiết yếu trong giai đoạn dọn dẹp. Kết quả là, nó coi tất cả các quy trình con được khởi tạo là các artifact tạm thời cần xóa bỏ khi hoàn thành tác vụ, dẫn đến thất bại trong các benchmark kiểm tra rõ ràng về độ bền của quy trình.
Chi tiết chính
- DeepSeek Harness xếp thứ sáu trên Terminal-Bench nhưng thống kê cho thấy nó đồng hạng nhất trong năm bài đánh giá còn lại của bảng xếp hạng.
- Agent chỉ vượt qua 2 trong số 36 lần thử đối với các tác vụ bền vững cụ thể, trong khi các đối thủ như OpenCode và Pi vượt qua cả 36 lần.
- Hành vi dọn dẹp làm giảm điểm số từ 1,5 đến 1,7 phần trăm, vượt quá biên độ chênh lệch giữa DeepSeek và agent đứng đầu.
- Bảng xếp hạng của Niklaus bao gồm 28.849 lượt thử nghiệm trên chín harness sử dụng các mô hình DeepSeek-V4.1-Flash, GLM-5.3-Flash và Flint.
- Mini-swe-agent đạt tỷ lệ giải quyết 51,4%, cao hơn đáng kể so với 27,3% của OpenClaw, mặc dù sử dụng cùng các mô hình nền tảng.
- Hiệu quả chi phí biến động mạnh, với Pi giải quyết các tác vụ với giá $0,29 mỗi cái so với $3,35 mỗi tác vụ được giải quyết bởi OpenCode trong các đánh giá ban đầu.
Tại sao điều này quan trọng
Sự cố này nhấn mạnh rằng việc lựa chọn harness agent có thể quan trọng ngang với việc lựa chọn mô hình ngôn ngữ lớn nền tảng. Các nhà phát triển thường tập trung nhiều vào khả năng của mô hình, chẳng hạn như độ sâu suy luận hoặc kích thước cửa sổ ngữ cảnh, trong khi coi lớp điều phối chỉ là một wrapper trung tính. Dữ liệu cho thấy các harness gây ra sự biến thiên đáng kể về cả tỷ lệ thành công và chi phí. Ví dụ, đồng sáng lập Hugging Face Thomas Wolf lưu ý rằng cùng một mô hình mở tạo ra kết quả rất khác nhau tùy thuộc vào harness được sử dụng.
Đối với các nhóm kỹ thuật xây dựng công cụ phát triển dựa trên AI, điều này có nghĩa là điểm số benchmark phải được diễn giải thận trọng. Một điểm số thấp hơn có thể không chỉ ra một mô hình yếu hơn mà là sự không khớp giữa các hành vi mặc định của agent và các ràng buộc cụ thể của benchmark. Nó cũng làm nổi bật tầm quan trọng của việc giám sát chi phí, vì một số harness gây ra chi phí cao hơn đáng kể cho mỗi tác vụ được giải quyết do xử lý ngữ cảnh kém hiệu quả hoặc các yêu cầu dư thừa.
Bạn có thể làm gì
- Đánh giá harness agent của bạn riêng biệt khỏi mô hình bằng cách chạy các thử nghiệm có kiểm soát với các tham số mô hình không đổi.
- Kiểm tra xem các chính sách dọn dẹp mặc định của agent có xung đột với các tác vụ yêu cầu tiến trình nền bền vững hoặc dịch vụ chạy dài hạn hay không.
- Giám sát chi phí cho mỗi tác vụ được giải quyết song song với các chỉ số độ chính xác để xác định các mẫu điều phối kém hiệu quả.
- Xem xét tài liệu cho harness bạn đã chọn để hiểu cách nó quản lý vòng đời công việc và độ bền của quy trình.
- Cân nhắc sử dụng các backend thay thế cho các tác vụ yêu cầu công việc phải tồn tại qua các lần khởi động lại hoặc chạy trên nhiều quy trình.
- Thử nghiệm nhiều harness với cùng một mô hình để xác định tổ hợp nào cung cấp sự cân bằng tốt nhất giữa hiệu suất và chi phí cho trường hợp sử dụng cụ thể của bạn.



