Xây dựng với AI

Huấn luyện hậu kỳ Nemotron 3.5 Super VL cho độ chính xác khoa học bằng RL

NVIDIA đã công bố một quy trình tùy chỉnh Nemotron 3.5 Super VL sử dụng học tăng cường và chưng cất kiến thức, giúp nâng cao độ chính xác trong dự đoán chuyển hóa thuốc lên 29%.

Minh họa mô hình hóa AI khoa học với các cấu trúc phân tử và mã code
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

NVIDIA vừa công bố một hướng dẫn kỹ thuật chi tiết về cách tùy chỉnh mô hình đa phương thức mở của hãng, Nemotron 3.5 Super VL, cho các quy trình làm việc khoa học chuyên biệt. Được phát hành vào ngày 16 tháng 11 năm 2026, hướng dẫn này minh họa cách các nhà nghiên cứu có thể sử dụng học tăng cường (reinforcement learning) và chưng cất kiến thức (knowledge distillation) để cải thiện đáng kể độ chính xác của mô hình trong các lĩnh vực như hóa học tính toán.

Cách tiếp cận này nhắm mục tiêu vào các hệ thống AI tác nhân (agentic AI) lập kế hoạch và thực hiện các nhiệm vụ khoa học phức tạp, giải quyết nhu cầu cấp thiết về độ chính xác cao hơn và độ trễ thấp hơn trong môi trường nghiên cứu, nơi sai sót có thể tích lũy nhanh chóng qua các vòng lặp tự động.

Điều gì đã xảy ra

Blog Kỹ thuật NVIDIA đã phác thảo một quy trình thực tế để huấn luyện hậu kỳ Nemotron 3.5 Super VL, một mô hình đa phương thức mở và có thể tùy chỉnh được thiết kế cho các chuẩn đo lường khoa học. Hướng dẫn tập trung vào việc thích ứng mô hình cho các lĩnh vực nghiên cứu cụ thể bằng cách xây dựng các môi trường học tăng cường tùy chỉnh từ dữ liệu thực nghiệm. Quá trình này tận dụng hạ tầng môi trường NVIDIA NeMo Gym và khung huấn luyện hậu kỳ NVIDIA NeMo RL.

Để xác thực phương pháp, nhóm nghiên cứu đã sử dụng bài toán dự đoán chuyển hóa thuốc làm trường hợp nghiên cứu điển hình. Họ khai thác các hồ sơ từ MetxBioDB, một cơ sở dữ liệu về các phản ứng sinh chuyển hóa đã được xác nhận bằng thực nghiệm. Mục tiêu là dự đoán chất chuyển hóa tạo thành khi biết hợp chất mẹ và enzyme xúc tác chuyển hóa nó. Kết quả cho thấy tinh chỉnh có giám sát (supervised fine-tuning) đã cải thiện độ chính xác thêm 12%, trong khi giai đoạn huấn luyện hậu kỳ bằng học tăng cường sau đó đã nâng độ chính xác thêm 17% nữa với ngân sách đầu ra 16.384 token.

Hướng dẫn cũng giới thiệu Nemotron RL Litmus-Bench V2.0, một bộ dữ liệu mã nguồn mở và chuẩn đo lường được thiết kế để huấn luyện và đánh giá các mô hình ngôn ngữ lớn (LLM) và AI tác nhân dựa trên các đặc tính phân tử. Chuẩn đo lường này hỗ trợ sự phát triển của các mô hình có thể xử lý các quy trình khoa học dài hơn, phức tạp hơn và có yếu tố thị giác với độ tin cậy cao hơn.

Cách hoạt động

Cơ chế cốt lõi liên quan đến việc tạo ra một môi trường học tăng cường với phần thưởng có thể kiểm chứng (RLVR). Các nhà nghiên cứu bắt đầu với một tệp CSV chứa các hồ sơ thực nghiệm, chẳng hạn như chuỗi Hệ thống Đầu vào Phân tử Đơn giản hóa (SMILES), dùng để mô tả cấu trúc phân tử. Các cặp đầu vào-đầu ra này được định dạng lại thành mẫu câu lệnh-phản hồi, trong đó kết quả thực nghiệm đúng đóng vai trò là bộ xác minh. Thiết lập này loại bỏ nhu cầu gán nhãn theo sở thích con người, vì tín hiệu phần thưởng được suy ra trực tiếp từ dữ liệu.

Trong ví dụ về chuyển hóa thuốc, mô hình nhận phân tử mẹ và enzyme, sau đó dự đoán chất chuyển hóa. Một bộ xác minh so sánh vân tay phân tử được dự đoán với tham chiếu bằng cách sử dụng độ tương đồng Tanimoto, một chỉ số đo mức độ chồng chéo giữa hai tập hợp. Điểm số dao động từ 0 đến 1, với giá trị càng cao thì mức độ tương đồng cấu trúc càng lớn. Tín hiệu phần thưởng dày đặc này hướng dẫn mô hình trong quá trình huấn luyện thông qua tối ưu hóa chính sách tương đối theo nhóm (GRPO) với các adapter hạng thấp (LoRA).

Một bước chưng cất tùy chọn có thể được thực hiện trước khi học tăng cường để đẩy nhanh tốc độ hội tụ. Một mô hình giáo viên mạnh hơn, chẳng hạn như Claude Sonnet 5.5, sẽ tạo ra các dấu vết suy luận chất lượng cao cho cùng các nhiệm vụ. Những dấu vết này được lọc dựa trên độ chính xác, chỉ giữ lại những trường hợp mà logic của mô hình giáo viên dẫn đến dự đoán đúng. Việc "khởi động ấm" (warm-start) này cung cấp cho mô hình học trò một điểm khởi đầu tốt hơn, giúp quá trình huấn luyện RL sau đó hiệu quả hơn và có khả năng tìm ra một chính sách mạnh mẽ.

Chi tiết chính

  • Nemotron 3.5 Super VL là một mô hình đa phương thức mở, có thể tùy chỉnh, được tối ưu hóa cho lập trình khoa học và các chuẩn đo lường.
  • Tinh chỉnh có giám sát đã cải thiện độ chính xác thêm 12%, trong khi học tăng cường mang lại mức tăng thêm 17% trong dự đoán chuyển hóa thuốc.
  • Bộ dữ liệu Nemotron RL Litmus-Bench V2.0 đánh giá LLM và AI tác nhân dựa trên các đặc tính phân tử.
  • Chưng cất sử dụng Claude Sonnet 5.5 để tạo ra các dấu vết suy luận, lọc ra 1.123 ví dụ chất lượng cao từ 1.934 câu lệnh.
  • Môi trường RL sử dụng độ tương đồng Tanimoto để chấm điểm các dự đoán so với kết quả thực tế mà không cần gán nhãn bởi con người.
  • Huấn luyện sử dụng GRPO với LoRA và được hỗ trợ bởi NeMo Gym để tạo môi trường và NeMo RL cho huấn luyện hậu kỳ.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng tác nhân AI khoa học, hướng dẫn này cung cấp một lộ trình cụ thể để giảm thiểu sự lan truyền lỗi trong các quy trình làm việc tự động. Khi các tác nhân đảm nhận những nhiệm vụ dài hơn và phức tạp hơn, những sai lệch nhỏ ở các bước đầu tiên có thể dẫn đến thất bại nghiêm trọng ở các bước sau. Bằng cách huấn luyện hậu kỳ các mô hình trên dữ liệu chuyên ngành với phần thưởng có thể kiểm chứng, các nhà phát triển có thể đảm bảo độ trung thực cao hơn trong các dự đoán quan trọng, chẳng hạn như cấu trúc phân tử hoặc kết quả phản ứng.

Khả năng tùy chỉnh các mô hình mở như Nemotron 3.5 Super VL cũng giải quyết các lo ngại về chi phí và độ trễ. Độ chính xác ở cấp độ tiên phong thường gắn liền với các mô hình khổng lồ, khép kín và tốn kém để vận hành. Quy trình này cho phép các đội ngũ đạt được hiệu suất tương đương trong các nhiệm vụ chuyên biệt bằng một mô hình có thể tùy chỉnh, tiềm năng giảm chi phí suy luận và cải thiện thời gian đưa ra giải pháp cho các nhiệm vụ lập trình khoa học.

Hơn nữa, việc bao gồm bước chưng cất từ các mô hình giáo viên mạnh hơn cung cấp một chiến lược để vượt qua vấn đề khởi động lạnh (cold-start) trong học tăng cường. Khi các mô hình cơ bản thiếu đủ năng lực hoặc quá trình hội tụ RL chậm, việc khởi động ấm bằng các dấu vết suy luận chất lượng cao có thể nâng cao sàn hiệu suất. Điều này làm cho quá trình huấn luyện trở nên vững chắc và dễ tiếp cận hơn cho các lĩnh vực mà dữ liệu khan hiếm hoặc đắt đỏ để tạo ra.

Bạn có thể làm gì

  • Khám phá kho lưu trữ NeMo Gym để xây dựng một môi trường RL tùy chỉnh từ dữ liệu thực nghiệm của riêng bạn.
  • Sử dụng kho lưu trữ NeMo RL để áp dụng huấn luyện hậu kỳ bằng học tăng cường cho các mô hình khoa học cụ thể của bạn.
  • Triển khai quy trình được cung cấp để tạo một lớp xác minh sử dụng các công cụ như thư viện tin học hóa học hoặc trình mô phỏng phân tử.
  • Cân nhắc sử dụng chưng cất từ một mô hình giáo viên mạnh hơn để tạo ra các dấu vết suy luận chất lượng cao trước khi bắt đầu huấn luyện RL.
  • Đánh giá mô hình tùy chỉnh của bạn bằng Nemotron RL Litmus-Bench V2.0 để đo hiệu suất trên các đặc tính phân tử.
  • Điều chỉnh các kịch bản chuyển đổi CSV sang JSONL để định dạng dữ liệu chuyên ngành của bạn cho việc sử dụng trong môi trường NeMo Gym.
  • #nvidia
  • #reinforcement learning
  • #scientific ai
  • #nemotron
  • #post-training

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết