Huấn luyện adapter RL bên trong các harness agent giúp tăng độ chính xác và giảm chi phí token
Hugging Face trình bày cách huấn luyện các adapter LoRA bằng học tăng cường trực tiếp bên trong các harness agent, qua đó cải thiện hiệu suất của mô hình Qwen3.8-27B trên các tác vụ lập trình đồng thời giảm một nửa lượng token sử dụng.
Được dịch tự động từ bản gốc tiếng Anh.
Hugging Face đã công bố một hướng dẫn kỹ thuật minh họa cách huấn luyện các adapter học tăng cường (reinforcement learning) tùy chỉnh cho các mô hình mã nguồn mở bên trong những harness agent cụ thể. Được xuất bản vào tháng 11 năm 2026, nghiên cứu này tập trung vào việc tối ưu hóa mô hình Qwen3.8-27B cho các tác vụ kỹ thuật phần mềm bằng cách sử dụng ba harness phổ biến: Pi, OpenCode và Hermes Agent.
Điều gì đã xảy ra
Các mô hình ngôn ngữ lớn đa năng không được tối ưu hoàn toàn cho mọi framework agent hoặc phân phối tác vụ cụ thể. Khi các nhà phát triển ghép nối một mô hình cơ sở với một harness nhất định, họ thường bỏ lỡ những tiềm năng về hiệu suất và hiệu quả. Hugging Face đã giải quyết vấn đề này bằng cách kết hợp học tăng cường trên một phân phối tác vụ tùy chỉnh với các harness agent cụ thể để tạo ra những adapter được thiết kế riêng, khai thác tối đa khả năng của mô hình cho chính xác những tổ hợp đó.
Nhóm nghiên cứu đã huấn luyện một adapter Low-Rank Adaptation (LoRA) cho mô hình Qwen3.8-27B đối với mỗi harness. Họ áp dụng học tăng cường ngay bên trong harness, đảm bảo mô hình học từ chính xác các token được tạo ra trong quá trình tương tác thực tế của agent. Kết quả cho thấy những cải thiện đáng kể. Ví dụ, điểm số của Qwen3.8-27B trên Terminal-Bench 2.1 khi sử dụng harness Pi đã tăng từ 39% lên 55% pass@1. Quan trọng hơn, mức sử dụng token trung bình cho mỗi tác vụ giảm từ 2.9K xuống còn 1.5K. Sự cải thiện về hiệu quả này đến từ việc mô hình suy luận ít hơn, gọi ít công cụ hơn và đạt kết quả tốt hơn ngay từ lần thử đầu tiên.
Để đảm bảo tính tái lập, Hugging Face đã chia sẻ một quy trình có thể tái sử dụng hoàn toàn. Tất cả các bộ dữ liệu, cấu hình huấn luyện và rollout của agent đều được thực thi trên Hub bằng Jobs, AsyncGRPOTrainer của TRL, OpenEnv và Harbor. Các sản phẩm cuối cùng, bao gồm các adapter và tệp GGUF, hiện có sẵn trong một bộ sưu tập công khai, cho phép các kỹ sư áp dụng phương pháp tương tự cho các tác vụ và harness của riêng họ.
Cách thức hoạt động
Đổi mới cốt lõi nằm ở việc huấn luyện mô hình bên trong harness agent thay vì sử dụng một bản cài đặt lại vòng lặp agent. Hầu hết các framework học tăng cường yêu cầu agent phải được viết theo giao diện riêng của framework, điều này có thể gây ra sự khác biệt giữa giai đoạn huấn luyện và triển khai. Trong phương pháp tiếp cận này, harness chạy đúng như phiên bản gốc. Một proxy được đặt giữa harness và máy chủ vLLM, ghi lại chính xác các token do mô hình tạo ra. Sau đó, trainer học từ những tương tác thực tế này, đảm bảo adapter tối ưu hóa cho các hành vi và định dạng đầu ra cụ thể của harness đó.
Chất lượng dữ liệu được đảm bảo thông qua một quy trình nghiêm ngặt. Nhóm nghiên cứu đã kết hợp các tác vụ từ SWE-smith, SWE-Gym và Tasksmith, lọc chúng bằng công cụ openenv validate. Công cụ này kiểm tra tính đúng đắn về mặt ngữ nghĩa, đảm bảo rằng các giải pháp tham chiếu nhận được phần thưởng tối đa và việc không làm gì cả sẽ có điểm thấp hơn. Họ cũng thực hiện kiểm tra độ khó, chỉ giữ lại những tác vụ mà mô hình cơ sở đôi khi giải được nhưng không phải lúc nào cũng vậy. Tập hợp "đủ điều kiện" này cung cấp tín hiệu học cần thiết cho Tối ưu hóa Chính sách Tương đối Nhóm (Group Relative Policy Optimization - GRPO), vì các tác vụ luôn dễ hoặc luôn khó không cung cấp gradient để cải thiện.
Quá trình huấn luyện sử dụng AsyncGRPOTrainer của TRL, không chờ tất cả các rollout hoàn thành trước khi chuyển sang bước tối ưu hóa tiếp theo. Phương pháp bất đồng bộ này tối đa hóa việc sử dụng phần cứng trên các GPU NVIDIA B200. Hàm phần thưởng cuối cùng kết hợp tính đúng đắn của verifier với một khoản thưởng nhỏ về hiệu quả sử dụng công cụ, khuyến khích mô hình giải quyết vấn đề với ít bước hơn. Tính an toàn được duy trì bằng plugin safeagents, chặn các hành vi sai lệch trong quá trình huấn luyện, với số lượng lệnh bị chặn giảm dần khi mô hình cải thiện.
Chi tiết chính
- Mô hình và Harness: Nghiên cứu tập trung vào Qwen3.8-27B được thích ứng cho Pi 1.5.2, OpenCode 2.2.7 và Hermes Agent v0.22.6.
- Cải thiện Hiệu suất: Adapter cho harness Pi đã nâng điểm số Terminal-Bench 2.1 từ 39% lên 55% pass@1.
- Cải thiện Hiệu quả: Mức sử dụng token trung bình cho mỗi tác vụ giảm từ 2.9K xuống 1.5K, nhờ giảm bớt các bước suy luận và lời gọi công cụ.
- Phương pháp Huấn luyện: Học tăng cường được thực hiện bên trong harness bằng cách sử dụng
AsyncGRPOTrainercủa TRL và OpenEnv, với một proxy thu thập các đầu ra token thực tế. - Quy trình Dữ liệu: 871 tác vụ được tuyển chọn từ SWE-smith, SWE-Gym và Tasksmith, được lọc để đảm bảo tính hợp lệ và độ khó phù hợp nhằm hỗ trợ hiệu quả cho việc huấn luyện GRPO.
- Super-Adapter: Ba adapter LoRA riêng biệt đã được hợp nhất thành một super-adapter duy nhất với rank 96, duy trì độ chính xác cao trên cả ba harness nhờ độ tương tự cosine thấp giữa các cập nhật trọng số.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng AI agent, phương pháp tiếp cận này mở ra con đường giảm đáng kể chi phí vận hành và tăng độ tin cậy. Bằng cách giảm mức sử dụng token gần một nửa, các tổ chức có thể triển khai những mô hình mạnh mẽ hơn như Qwen3.8-27B mà không phải chịu hóa đơn suy luận quá đắt đỏ. Việc cải thiện tỷ lệ thành công ngay từ lần thử đầu tiên cũng giúp giảm độ trễ, dẫn đến trải nghiệm người dùng mượt mà hơn trong các trợ lý lập trình và agent tự động. Điều này đặc biệt liên quan đến các nhóm sử dụng mô hình mã nguồn mở đang cần cạnh tranh với hiệu quả của các giải pháp độc quyền, mã nguồn đóng.
Phương pháp luận này cũng làm sáng tỏ quy trình căn chỉnh các mô hình mã nguồn mở với những môi trường công cụ cụ thể. Bằng cách cung cấp một quy trình tái sử dụng và mã nguồn mở các sản phẩm, Hugging Face hạ thấp rào cản gia nhập cho việc tối ưu hóa mô hình tùy chỉnh. Các nhà phát triển không còn phải phụ thuộc hoàn toàn vào fine-tuning đa năng; giờ đây họ có thể tinh chỉnh mô hình cho stack cụ thể của mình, dù là phân tích dữ liệu, xây dựng mã hay các quy trình kỹ thuật phần mềm phức tạp. Sự chuyển dịch sang tối ưu hóa dựa trên harness này có thể trở thành thực hành tiêu chuẩn cho các AI agent cấp độ sản xuất.
Bạn có thể làm gì
- Khám phá bộ sưu tập Hugging Face chứa các adapter đã huấn luyện, GGUF và các tác vụ RL để hiểu cấu trúc của các sản phẩm.
- Sử dụng các image Docker được cung cấp với các harness đã cài đặt sẵn (Pi, OpenCode, Hermes) để tái tạo môi trường huấn luyện cục bộ hoặc trên Hub.
- Áp dụng công cụ
openenv validatecho các tác vụ tùy chỉnh của bạn để lọc tính đúng đắn về mặt ngữ nghĩa và độ khó phù hợp trước khi huấn luyện. - Triển khai
AsyncGRPOTrainercủa TRL trong quy trình làm việc của bạn để kích hoạt xử lý rollout bất đồng bộ, cải thiện hiệu quả huấn luyện trên các thiết lập multi-GPU. - Cân nhắc hợp nhất nhiều adapter LoRA dành riêng cho từng harness nếu bạn hỗ trợ nhiều framework agent, tận dụng sự can thiệp thấp giữa các cập nhật trọng số trực giao.
- Tích hợp plugin safeagents với các quy tắc regex và mẫu tùy chỉnh của bạn để ngăn chặn hành vi sai lệch của mô hình trong giai đoạn học tăng cường.



