DaisyRose-27B đạt điểm chuẩn cao hơn nhờ hiệu quả trong giai đoạn hậu huấn luyện
RadixArk ra mắt DaisyRose-27B, một mô hình vượt trội so với Qwen3.8-27B trên các điểm chuẩn chính yếu nhờ sử dụng khung đào tạo bất đồng bộ mới và cơ sở hạ tầng sandbox tiết kiệm chi phí.
Được dịch tự động từ bản gốc tiếng Anh.
RadixArk đã phát hành DaisyRose-27B, một mô hình ngôn ngữ mã nguồn mở mới cho thấy những cải tiến đáng kể về hiệu quả và hiệu suất trong giai đoạn hậu huấn luyện (post-training). Được công bố vào tháng 11 năm 2026, bản phát hành này nhấn mạnh cách mà việc chọn lọc dữ liệu kỹ lưỡng và cơ sở hạ tầng chuyên biệt có thể nâng cao năng lực của mô hình mà không làm tăng tương ứng chi phí tính toán. Mô hình được xây dựng dựa trên kiến trúc Qwen3.8-27B nhưng áp dụng một phương pháp đào tạo mới để khắc phục các điểm yếu cụ thể tìm thấy ở mô hình gốc.
Bản phát hành đánh dấu sự chuyển dịch sang các chiến lược học tăng cường (reinforcement learning) nhắm mục tiêu chính xác hơn, nơi dữ liệu đào tạo được tạo ra đặc biệt để giải quyết các lỗi thất bại đã biết của mô hình. Bằng cách kết hợp các tác vụ chất lượng cao tập trung vào lỗi với backend đào tạo bất đồng bộ, RadixArk đã đạt được những bước tiến lớn cả về điểm số benchmark lẫn hiệu quả vận hành. Cách tiếp cận này cho phép mô hình học từ các tác vụ agent dài hạn (long-horizon) trong khi vẫn duy trì động thái đào tạo ổn định qua nhiều tuần hoạt động liên tục.
Điều gì đã xảy ra
DaisyRose-27B vượt trội hơn mô hình Qwen3.8-27B gốc trên mọi điểm chuẩn được đánh giá. Cải thiện đáng chú ý nhất xuất hiện trên Terminal Bench 4.1, nơi điểm pass@1 tăng từ 5,6% lên 12,0%. Các kết quả này được lấy từ mức cao hơn giữa hai lần chạy BF16 và FP8 cho mỗi điểm chuẩn, với sự khác biệt giữa hai định dạng độ chính xác luôn dưới một điểm ở những nơi cả hai đều được thử nghiệm. Thẻ mô hình (model card) cung cấp chi tiết đầy đủ về nguồn so sánh và thiết lập đánh giá để đảm bảo tính tái lập.
Quy trình phát triển dựa trên ba thành phần cốt lõi: các tác vụ đào tạo được thiết kế cẩn thận, backend đào tạo hiệu quả mang tên Miles và dịch vụ sandbox mạnh mẽ. RadixArk đã hợp tác với Eigent AI để tạo ra dữ liệu đào tạo, bắt đầu từ một kho lớn các tác vụ trong các lĩnh vực như máy học, kỹ thuật phần mềm và khoa học. Từ hàng nghìn ứng viên, khoảng 1.200 tác vụ đã được chọn cho bộ dữ liệu đào tạo cuối cùng dựa trên các tiêu chí nghiêm ngặt nhằm tối đa hóa lợi ích học tập.
Mỗi tác vụ được thiết kế để nhắm vào những lỗi cụ thể mà mô hình Qwen3.8-27B gốc mắc phải. Nhóm nghiên cứu đã chạy mô hình gốc trên từng tác vụ ứng viên và thiết kế lại chúng xoay quanh các lỗi mà họ muốn loại bỏ. Mức độ khó được điều chỉnh cho đến khi tỷ lệ giải quyết rơi vào phạm vi hữu ích cho việc học. Ngoài ra, mỗi tác vụ yêu cầu nhiều bước phụ thuộc lẫn nhau, buộc agent phải suy luận, lập kế hoạch và thực thi qua các công việc kéo dài. Các nỗ lực có thể kéo dài tới 1,5 giờ trong môi trường sandbox, bao gồm hơn 100 lệnh gọi công cụ (tool calls) và tạo ra hơn 256.000 token đầu ra. Những tác vụ có thể giải quyết mà không cần xử lý vấn đề dự định hoặc có lỗi thiết kế đã bị loại bỏ hoặc sửa chữa.
Cách thức hoạt động
Cơ sở hạ tầng đào tạo sử dụng Miles, một khung học tăng cường mã nguồn mở do RadixArk phát triển, hoạt động ở chế độ hoàn toàn bất đồng bộ. Trong cấu hình này, agent tiếp tục làm việc trên các tác vụ trong khi mô hình học từ các quỹ đạo (trajectories) trước đó, đảm bảo rằng không quy trình nào phải chờ đợi quy trình kia. Hệ thống phân bổ 128 GPU H200 cho suy luận (inference) trên các tác vụ của agent và 16 GPU bổ sung cho trainer. Sau mỗi bước đào tạo, mô hình cập nhật ngay lập tức được phân phối tới 128 GPU đang chạy các agent.
Backend này được tối ưu hóa cho việc đào tạo agent, nơi mỗi bước học từ một số ít phiên rất dài, một số lên tới 1 triệu token. Các phiên này được gấp gọn thành nhiều quỹ đạo thông qua quá trình tóm tắt harness. Trong bản phát hành này, 37% sức mạnh tính toán đỉnh của mỗi GPU được sử dụng cho công việc đào tạo hữu ích, được gọi là mức sử dụng FLOPs của mô hình (MFU). Ngược lại, trainer mã nguồn mở xây dựng trên Megatron chỉ đạt 16% MFU trong các lần chạy tương đương. Lợi ích hiệu quả này tương đương với việc giảm 57% thời gian GPU cần thiết cho cùng một kết quả đào tạo.
Lợi thế về hiệu quả còn rõ rệt hơn đối với các mô hình mixture-of-experts. Đối với Qwen3.6-35B-A3B, tốc độ tăng gấp 6,2 lần, và đối với GLM-5.3-Flash có khoảng 300 tỷ tham số, con số này vượt quá 10 lần. Về mặt end-to-end, lần chạy phát hành đã đào tạo với tốc độ khoảng 16.800 token/giây trên 144 GPU, so với 8.300 token/giây của trainer mã nguồn mở. Hệ thống vẫn ổn định qua nhiều tuần đào tạo, tích lũy 63.000 giờ GPU mà không bị suy giảm tốc độ hay hiệu quả.
Chi tiết chính
- DaisyRose-27B cải thiện điểm pass@1 trên Terminal Bench 4.1 từ 5,6% lên 12,0% so với Qwen3.8-27B.
- Bộ dữ liệu đào tạo bao gồm 1.200 tác vụ được chọn từ hàng nghìn ứng viên, mỗi tác vụ nhắm vào các lỗi cụ thể của mô hình gốc.
- Miles, khung đào tạo bất đồng bộ, đạt 37% MFU so với 16% của trainer mã nguồn mở dựa trên Megatron.
- Hệ thống sử dụng 144 GPU H200, với 128 dành cho suy luận và 16 dành cho đào tạo, xử lý lên tới 16.800 token/giây.
- Chi phí cơ sở hạ tầng sandbox thấp hơn 80% so với các nhà cung cấp đám mây phổ biến, với tỷ lệ thành công khi tạo môi trường là 99,95% kể từ cuối tháng Mười.
- Quá trình đào tạo liên quan đến các phiên kéo dài tới 1,5 giờ, với hơn 100 lệnh gọi công cụ và 256K token đầu ra cho mỗi nỗ lực.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng AI agent, bản phát hành này chứng minh rằng hiệu quả hậu huấn luyện có thể được cải thiện đáng kể thông qua các kiến trúc bất đồng bộ. Đào tạo đồng bộ truyền thống thường gây nghẽn cổ chai vì mô hình phải chờ dữ liệu được tạo ra hoặc ngược lại. Bằng cách tách rời các quy trình này, RadixArk cho thấy khả năng duy trì mức sử dụng GPU cao trong khi xử lý các tác vụ dài hạn. Điều này rất quan trọng đối với các nhà phát triển cần đào tạo mô hình trên các vấn đề phức tạp, nhiều bước mà không phải chịu chi phí tính toán quá đắt đỏ.
Sự tập trung vào việc chọn lọc dữ liệu đặc thù theo lỗi cũng đưa ra một bài học thực tế về cải thiện mô hình. Thay vì tiền huấn luyện chung chung trên các tập dữ liệu khổng lồ, việc nhắm vào các chế độ thất bại đã biết bằng các tác vụ chất lượng cao, khó khăn có thể mang lại những cải thiện hiệu suất đáng kể. Cách tiếp cận này đòi hỏi sự xác thực nghiêm ngặt để đảm bảo các tác vụ không thể giải quyết bằng đường tắt, nhưng các mô hình kết quả sẽ mạnh mẽ hơn trong các ứng dụng thực tế. Sự minh bạch trong việc chia sẻ khung Miles và các đóng góp cho AgentENV càng giúp cộng đồng dễ dàng áp dụng các kỹ thuật hiệu quả này.
Bạn có thể làm gì
- Tải xuống DaisyRose-27B từ hub Hugging Face để kiểm tra hiệu suất của nó trên các quy trình làm việc cụ thể của bạn.
- Xem xét hướng dẫn phục vụ SGLang để triển khai mô hình một cách hiệu quả trong môi trường sản xuất của bạn.
- Sử dụng khung Miles để đào tạo các agent của riêng bạn, tận dụng phương pháp luận đào tạo bất đồng bộ được mô tả.
- Đánh giá mô hình trên các điểm chuẩn nội bộ của bạn và chia sẻ kết quả trong tab Cộng đồng của mô hình để giúp xác định những thiếu sót còn tồn tại.
- Nghiên cứu các tiêu chí lựa chọn tác vụ được sử dụng bởi RadixArk và Eigent AI để cải thiện các pipeline chọn lọc dữ liệu của riêng bạn.
- Khám phá dự án AgentENV để xây dựng các môi trường sandbox tiết kiệm chi phí cho nhu cầu đào tạo agent của bạn.



