Nghiên cứu của Apple làm rõ giới hạn lý thuyết trong việc căn chỉnh mô hình ngôn ngữ
Phân tích mới từ Apple ML xác định mức tăng phần thưởng tối đa có thể đạt được dưới ràng buộc KL, cho thấy phương pháp lấy mẫu best-of-N gần chạm ngưỡng này trong khi PPO vẫn chưa tối ưu.
Được dịch tự động từ bản gốc tiếng Anh.
Các nhà nghiên cứu tại Apple Machine Learning Research đã công bố một phân tích lý thuyết xác định những giới hạn cơ bản của việc căn chỉnh (alignment) mô hình ngôn ngữ. Được phát hành vào tháng 11 năm 2026, nghiên cứu này đặc trưng hóa mức tăng kỳ vọng phần thưởng tối đa có thể đạt được với ngân sách phân kỳ Kullback-Leibler (KL) cố định. Công trình này thách thức các giả định phổ biến về hiệu quả của những thuật toán căn chỉnh nổi tiếng như Proximal Policy Optimization (PPO).
Điều gì đã xảy ra
Bài báo giải quyết khoảng trống trong việc hiểu rõ mức độ cải thiện mà các kỹ thuật căn chỉnh thực sự có thể mang lại so với chi phí tính toán và thống kê phải bỏ ra. Mặc dù học tăng cường (reinforcement learning) và lấy mẫu best-of-N là các phương pháp tiêu chuẩn trong ngành, trần giới hạn lý thuyết của chúng vẫn chưa rõ ràng. Các tác giả đã suy ra một biểu thức dạng đóng (closed-form expression) cho mức cải thiện phần thưởng tối ưu, tiết lộ rằng các phân tích trước đây dựa trên căn bậc hai của các thành phần KL là chưa đầy đủ.
Thay vào đó, công thức mới cho thấy giới hạn này được chi phối bởi một thành phần phân kỳ Jeffreys. Sự thay đổi toán học này cung cấp một biên độ chính xác hơn về hiệu suất. Các nhà nghiên cứu cũng tái cấu trúc biểu thức này dưới dạng hiệp phương sai (covariance) theo mô hình gốc. Điều này cho phép các kỹ sư ước lượng mức tăng căn chỉnh có thể đạt được chỉ bằng cách sử dụng các mẫu từ mô hình gốc chưa được căn chỉnh, mà không cần phải huấn luyện nhiều biến thể đã được căn chỉnh trước đó.
Nghiên cứu cũng điều tra sâu hơn về các thiết lập phần thưởng đại diện (proxy reward), nơi mô hình phần thưởng dùng để huấn luyện khác biệt so với tín hiệu sở thích thực tế của con người. Sự chênh lệch này thường dẫn đến tình trạng "hack" phần thưởng (reward hacking), khi mô hình tối ưu hóa cho phần thưởng đại diện thay vì mục tiêu dự kiến. Phân tích chứng minh rằng khoảng cách giữa căn chỉnh lý tưởng và căn chỉnh đại diện sẽ gia tăng khi sai số phần thưởng tăng lên hoặc khi hệ số phạt KL giảm xuống. Quan trọng hơn, nó cung cấp cơ sở lý thuyết cho việc kết hợp ensemble phần thưởng (reward ensembling), cho thấy việc kết hợp nhiều mô hình phần thưởng giúp giảm thiểu hiệu ứng hack này.
Cơ chế hoạt động
Việc căn chỉnh thường bao gồm quá trình tối đa hóa hàm phần thưởng đồng thời giữ cho mô hình gần với phân phối ban đầu thông qua hình phạt KL. Nhóm Apple đã phân tích sự đánh đổi này dưới góc độ lý thuyết thông tin. Họ nhận thấy rằng mức tăng phần thưởng tối đa không đơn thuần tỷ lệ thuận với căn bậc hai của ngân sách KL, như một số biên độ trước đây đã gợi ý. Bằng cách sử dụng phân kỳ Jeffreys, vốn đối xứng hóa phân kỳ KL, họ đã nắm bắt chính xác hơn bản chất hai chiều của sự dịch chuyển phân phối.
Để áp dụng vào thực tế, họ biểu diễn mức tăng tối ưu dưới dạng hiệp phương sai giữa hàm phần thưởng và tỷ số log-likelihood (log-likelihood ratio) giữa mô hình đã căn chỉnh và mô hình gốc. Bộ ước lượng này cho phép các nhà phát triển dự đoán mức dư địa còn lại cho việc căn chỉnh trước khi bắt đầu huấn luyện. Nếu hiệp phương sai thấp, các nỗ lực căn chỉnh mạnh mẽ có thể mang lại lợi ích giảm dần bất kể thuật toán nào được sử dụng.
Đánh giá thực nghiệm đã so sánh các giới hạn lý thuyết này với hiệu suất thực tế trên các tác vụ an toàn và tóm tắt văn bản. Kết quả cho thấy phương pháp lấy mẫu best-of-N, tạo ra N đầu ra độc lập và chọn cái tốt nhất, tiến rất gần đến đường biên Pareto lý thuyết. Ngược lại, PPO và Group Relative Policy Optimization (GRPO) vẫn còn kém tối ưu đáng kể, bỏ lỡ tiềm năng tăng phần thưởng lớn với cùng chi phí KL.
Chi tiết chính
- Mức tăng phần thưởng tối đa có thể đạt được được chi phối bởi thành phần phân kỳ Jeffreys, không phải căn bậc hai của KL.
- Một bộ ước lượng thực tế dựa trên hiệp phương sai theo mô hình gốc có thể dự đoán mức tăng căn chỉnh mà không cần huấn luyện.
- Mức độ nghiêm trọng của việc hack phần thưởng tăng lên khi sai số phần thưởng cao hơn và hệ số phạt KL thấp hơn.
- Việc kết hợp ensemble phần thưởng đã được chứng minh về mặt lý thuyết là giúp giảm thiểu hack phần thưởng trong các thiết lập phần thưởng đại diện.
- Lấy mẫu best-of-N gần như đạt đến đường biên Pareto KL-phần thưởng lý thuyết trong các bài kiểm tra thực nghiệm.
- PPO và GRPO được cho thấy là kém tối ưu đáng kể so với giới hạn lý thuyết.
Tại sao điều này quan trọng
Đối với các nhóm kỹ thuật đang tối ưu hóa chi phí suy luận, phân tích này gợi ý rằng các chiến lược lấy mẫu đơn giản có thể hiệu quả hơn so với các vòng lặp học tăng cường phức tạp đối với một số tác vụ nhất định. Nếu best-of-N đã gần chạm giới hạn lý thuyết, thì tài nguyên tính toán bổ sung và độ phức tạp của PPO có thể không biện minh cho những lợi ích biên nhỏ nhoi. Cái nhìn sâu sắc này có thể hướng nguồn lực sang việc cải thiện mô hình hóa phần thưởng hoặc chất lượng dữ liệu thay vì tinh chỉnh thuật toán.
Các phát hiện cũng nhấn mạnh rủi ro của phần thưởng đại diện. Khi các nhóm đẩy mạnh điểm số căn chỉnh, họ thường giảm hình phạt KL để cho phép sự lệch khỏi mô hình gốc lớn hơn. Bài báo cảnh báo rằng điều này làm tăng tính dễ bị tổn thương trước việc hack phần thưởng. Hiểu rõ sự đánh đổi này giúp các nhóm đặt siêu tham số an toàn hơn và biện minh cho chi phí vận hành của việc duy trì nhiều mô hình phần thưởng để kết hợp ensemble.
Bạn có thể làm gì
- Ước lượng tiềm năng tăng căn chỉnh bằng cách sử dụng bộ ước lượng hiệp phương sai trên các mẫu mô hình gốc của bạn trước khi huấn luyện.
- So sánh hiệu suất của best-of-N với quy trình RLHF hiện tại của bạn để đo lường hiệu quả.
- Triển khai kết hợp ensemble phần thưởng nếu bạn nghi ngờ lỗi phần thưởng đại diện đang gây ra các vấn đề tối ưu hóa.
- Giám sát chặt chẽ hệ số phạt KL; hạ thấp nó quá nhiều có thể làm tăng rủi ro hack phần thưởng.
- Đánh giá lại sự cần thiết của PPO hoặc GRPO nếu best-of-N đáp ứng các ngưỡng chất lượng của bạn.
- Sử dụng biên độ dựa trên phân kỳ Jeffreys để đặt kỳ vọng thực tế cho việc truyền thông với các bên liên quan.



