AI mở & chạy cục bộ

Nvidia cải thiện điểm số lập trình của Nemotron bằng phương pháp học tăng cường có mục tiêu

Nvidia đã sử dụng 20.000 mẫu dữ liệu huấn luyện tổng hợp và PivotRL để nâng cao khả năng lập trình tác nhân (agentic coding) của Nemotron 3 Ultra, giúp điểm số Terminal-Bench tăng đáng kể.

Hình ảnh minh họa khái niệm về việc sửa chữa mô hình AI bằng các công cụ nhắm mục tiêu.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Nvidia đã cải thiện đáng kể hiệu suất lập trình của các mô hình AI mã nguồn mở bằng cách tập trung vào những lỗi cụ thể của tác nhân với một bộ dữ liệu nhỏ nhưng chất lượng cao. Sử dụng công cụ chuyên biệt từ Factory, nhóm nghiên cứu đã tạo ra khoảng 20.000 mẫu dữ liệu huấn luyện để tinh chỉnh Nemotron 3 Ultra, một mô hình gồm 550 tỷ tham số được phát hành vào tháng 6 năm 2026. Nỗ lực hậu huấn luyện (post-training) tập trung này đã dẫn đến sự gia tăng rõ rệt về điểm số trên các bài kiểm tra chuẩn hóa cho các nhiệm vụ lập trình tác nhân.

Điều gì đã xảy ra

Nvidia đã hợp tác với Factory để giải quyết các vấn đề lặp đi lặp lại trong cách Nemotron 3 Ultra xử lý các chỉ thị lập trình phức tạp. Nhóm nghiên cứu triển khai công cụ Droid coding-agent harness của Factory trong một mạng lưới tách biệt (air-gapped network) để ghi nhận và thu thập các lỗi có thể tái hiện được. Những lỗi này chủ yếu liên quan đến việc tuân thủ chỉ thị, gọi công cụ (tool calling) và khôi phục lỗi trong các nhiệm vụ nhiều bước. Bằng cách cô lập những điểm hỏng hóc cụ thể này, Nvidia có thể tạo ra một bộ dữ liệu nhắm mục tiêu để cải thiện mô hình thay vì dựa vào dữ liệu rộng lớn và chưa qua lọc.

Công ty đã áp dụng phương pháp học tăng cường (reinforcement learning) mang tên PivotRL cho bộ dữ liệu mới này. Được giới thiệu vào tháng 3 năm 2026, PivotRL huấn luyện các mô hình dựa trên những quyết định then chốt trong các quỹ đạo tinh chỉnh giám sát (supervised fine-tuning) hiện có. Cách tiếp cận này tránh được chi phí tính toán cao của các lượt chạy thử nghiệm đa vòng (multi-turn rollouts) đầy đủ, đồng thời vẫn cải thiện độ chính xác trong việc ra quyết định. Sau khi áp dụng kỹ thuật này, Nvidia đã gửi lại các checkpoint mô hình cập nhật cho Factory để đánh giá, đảm bảo rằng các cải tiến có thể đo lường được trong các kịch bản tác nhân thực tế.

Để ngăn chặn mô hình bị quá khớp (overfitting) với môi trường thử nghiệm cụ thể, Nvidia đã thay đổi cấu hình Droid và kết hợp dữ liệu từ nhiều môi trường tác nhân khác. Quy trình huấn luyện cuối cùng kết hợp học tăng cường với phần thưởng có thể xác minh, phản hồi từ con người và kỹ thuật chưng cất trực tuyến đa giáo viên (multi-teacher on-policy distillation). Quá trình nhiều giai đoạn này cho phép chuyển giao hiệu quả các năng lực từ các mô hình giáo viên được huấn luyện trong các lĩnh vực kỹ thuật khác nhau sang mô hình học sinh, Nemotron 3 Ultra.

Cơ chế hoạt động

PivotRL khác biệt so với học tăng cường tiêu chuẩn bằng cách tập trung vào kết quả của một hành động thay vì mức độ tương đồng của nó với một ví dụ tham chiếu. Trong tinh chỉnh giám sát truyền thống, mô hình sẽ bị phạt nếu đầu ra không khớp chính xác với câu trả lời mẫu (golden answer). PivotRL đánh giá xem hành động đó có đạt được mục tiêu dự kiến hay không, điều này rất quan trọng đối với các nhiệm vụ tác nhân nơi có thể tồn tại nhiều con đường hợp lệ. Phương pháp này đạt độ chính xác tương đương với học tăng cường toàn diện (end-to-end reinforcement learning) nhưng chỉ cần một phần tư số lượt chạy thử nghiệm, khiến nó trở nên hiệu quả hơn nhiều.

Quy trình huấn luyện cũng sử dụng kỹ thuật chưng cất trực tuyến đa giáo viên. Kỹ thuật này chuyển giao kiến thức từ nhiều mô hình giáo viên chuyên biệt sang một mô hình học sinh duy nhất. Bằng cách pha trộn những hiểu biết từ các mô hình được huấn luyện trên nhiều lĩnh vực kỹ thuật đa dạng, Nvidia đảm bảo rằng Nemotron 3 Ultra có thể khái quát hóa tốt hơn qua các loại nhiệm vụ lập trình khác nhau. Công ty đã công bố các hỗn hợp học tăng cường và hướng dẫn để tái tạo quy trình trên phần cứng GB200 NVL72, cho phép người khác xác minh kết quả.

Chi tiết chính

  • Nvidia đã tạo ra khoảng 20.000 dòng dữ liệu hậu huấn luyện bằng cách sử dụng công cụ Droid harness của Factory.
  • Điểm số Terminal-Bench 2.0 của Nemotron 3 Ultra tăng từ 38,5% lên 49% sau quá trình hậu huấn luyện.
  • Một checkpoint sơ bộ của Nemotron 3.5 Super VL đã cải thiện từ 52,11% lên 60,4% trên Terminal-Bench 2.1.
  • PivotRL vượt trội hơn so với tinh chỉnh giám sát tiêu chuẩn với mức tăng trung bình 4,17% trên bốn lĩnh vực tác nhân.
  • Quy trình huấn luyện bao gồm dữ liệu từ OpenCode, Codex và một môi trường được xác định là agent006.
  • Factory chưa công bố một nghiên cứu cắt bỏ (ablation study) nào để tách biệt đóng góp cụ thể của họ vào mức tăng điểm số benchmark.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng tác nhân AI, trường hợp này làm nổi bật lợi ích giảm dần của việc tăng khối lượng dữ liệu mà không cải thiện chất lượng dữ liệu. Thay vì nạp cho mô hình hàng tỷ token chung chung, Nvidia đã chứng minh rằng một bộ nhỏ gồm 20.000 ví dụ được chọn lọc kỹ lưỡng nhằm vào các chế độ lỗi cụ thể có thể mang lại những cải thiện hiệu suất đáng kể. Điều này gợi ý rằng các cải tiến trong tương lai của AI tác nhân sẽ phụ thuộc nhiều hơn vào phân tích lỗi chính xác và học tăng cường có mục tiêu hơn là vào tiền huấn luyện theo kiểu brute-force.

Kết quả cũng nhấn mạnh tầm quan trọng của các công cụ đánh giá (evaluation harnesses) trong việc định hình hành vi của mô hình. Mức tăng hiệu suất gắn liền chặt chẽ với các môi trường cụ thể được sử dụng để huấn luyện và thử nghiệm. Như thấy ở Google Gemini 4 Neon, vốn hoạt động tốt hơn bên trong công cụ Antigravity harness của riêng mình, các mô hình có thể trở nên tối ưu hóa cho các khung thử nghiệm cụ thể. Các nhà phát triển phải thận trọng khi diễn giải điểm số benchmark, vì chúng có thể phản ánh sự thích nghi với harness cụ thể chứ không phải là cải thiện năng lực chung.

Bạn có thể làm gì

  • Trang bị công cụ giám sát cho các quy trình làm việc của tác nhân để thu thập các lỗi có thể tái hiện trong việc gọi công cụ và khôi phục lỗi.
  • Ưu tiên tạo ra các bộ dữ liệu nhỏ, chất lượng cao nhắm vào những điểm yếu cụ thể được xác định trong quá trình đánh giá.
  • Cân nhắc sử dụng các cơ chế phần thưởng dựa trên kết quả như PivotRL thay vì khớp tham chiếu nghiêm ngặt cho các nhiệm vụ tác nhân.
  • Đa dạng hóa các môi trường đánh giá để ngăn mô hình bị quá khớp với một công cụ thử nghiệm duy nhất.
  • Khám phá kỹ thuật chưng cất đa giáo viên để chuyển giao các năng lực chuyên biệt từ các mô hình theo lĩnh vực sang tác nhân đa năng của bạn.
  • Xem xét các hỗn hợp và quy trình học tăng cường đã công bố để hiểu rõ sự đánh đổi giữa các phương pháp hậu huấn luyện khác nhau.
  • #nvidia
  • #reinforcement learning
  • #ai agents
  • #nemotron
  • #coding models

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết