Các bộ đánh giá độ mới của LLM thất bại với ý tưởng nghiên cứu do AI tạo ra

Hugging Face và Ai2 đã công bố một nghiên cứu mới có tựa đề "Old Ideas, Novel Problems" (Ý tưởng cũ, Vấn đề mới), xem xét mức độ tin cậy khi các mô hình ngôn ngữ lớn đánh giá tính mới của các ý tưởng nghiên cứu khoa học. Được công bố vào cuối tháng 10 năm 2026, nghiên cứu này tiết lộ rằng các hệ thống AI hiện tại thường không thể phân biệt được các khái niệm thực sự mới so với các công trình cũ được đóng gói lại, đặc biệt là khi đánh giá các ý tưởng được tạo ra bởi các mô hình AI khác.

Điều gì đã xảy ra

Nhóm nghiên cứu đã phát triển một tiêu chuẩn kiểm tra để thử nghiệm sáu LLM hàng đầu, bao gồm GPT-5.1 đến GPT-5.4 và Claude Sonnet 4.5 đến Claude Opus 4.6. Họ nhận thấy rằng những điều chỉnh dường như rất nhỏ đối với câu lệnh đánh giá có thể gây ra biến động độ chính xác hơn 50 điểm phần trăm. Trong một bài kiểm tra cụ thể liên quan đến GPT-5.4, việc thay đổi vài từ trong hướng dẫn đã khiến khả năng xác định ý tưởng mới hơn trong một cặp giảm từ 93,5% xuống còn 40,9%, thấp hơn cả tỷ lệ ngẫu nhiên.

Nghiên cứu nhấn mạnh một khoảng trống quan trọng trong các công cụ khám phá khoa học tự động. Trong khi các hệ thống như AutoDiscovery và Theorizer có thể tạo ra giả thuyết, chúng phụ thuộc vào các bộ đánh giá độ mới để lọc bỏ các công việc gia tăng hoặc trùng lặp. Kết quả cho thấy các bộ đánh giá này cực kỳ bất ổn. Một câu lệnh hoạt động tốt với mô hình này có thể làm giảm hiệu suất ở mô hình khác, và việc thêm các bước suy luận hoặc khả năng truy xuất thông tin không nhất quán cải thiện độ chính xác. Trong một số trường hợp, các hệ thống đánh giá đắt tiền, được xây dựng riêng biệt lại hoạt động kém hơn so với các phương pháp cơ bản dựa trên câu lệnh đơn giản.

Để tạo ra tiêu chuẩn kiểm tra, các nhà nghiên cứu đã khai thác dữ liệu từ các bài phản biện (peer reviews) của hội nghị ICLR 2026. Họ xác định 154 bài báo được chấp nhận nơi các nhà phản biện khen ngợi rõ ràng về tính mới và 145 bài bị từ chối nơi các nhà phản biện đặt câu hỏi về tính nguyên bản. Điều này tạo ra một tập dữ liệu Human-Only (Chỉ con người) với bằng chứng mạnh mẽ về mức độ mới. Sau đó, họ tạo ra tập dữ liệu Human+Generated (Con người + Do máy tạo) bằng cách ghép các ý tưởng của con người với các ý tưởng được tạo ra bởi một bộ sinh LLM cơ bản. Thiết lập này cho phép họ kiểm tra cách các bộ đánh giá hoạt động trên nội dung do AI tạo ra, thứ mà chúng ngày càng được kỳ vọng sẽ phải đánh giá.

Cách thức hoạt động

Quy trình đánh giá kiểm tra các bộ đánh giá độ mới theo hai chế độ: pointwise (đánh giá từng điểm), nơi mô hình chấm điểm độ mới tuyệt đối của một ý tưởng duy nhất, và pairwise (đánh giá theo cặp), nơi nó so sánh hai ý tưởng để xác định cái nào mới hơn. Các nhà nghiên cứu đã thay đổi độc lập nhiều yếu tố, bao gồm văn bản câu lệnh, ngân sách suy luận được phân bổ cho mô hình, việc bộ đánh giá có thể truy cập tài liệu liên quan hay không, và định dạng của các ý tưởng đầu vào.

Một phát hiện chính là các bộ đánh giá độ mới trở nên mong manh khi đối mặt với văn bản do AI tạo ra. Khi câu lệnh nói rõ với mô hình rằng một trong hai ý tưởng trong cặp là mới, GPT-5.4 hoạt động tốt. Tuy nhiên, khi câu lệnh chỉ đơn giản hỏi ý tưởng nào là mới mà không có gợi ý đó, hiệu suất sụp đổ. Điều này cho thấy các mô hình có thể phụ thuộc nhiều vào các tín hiệu ngữ cảnh hơn là hiểu biết sâu sắc về tính nguyên bản khoa học. Nghiên cứu cũng phát hiện ra rằng việc viết lại các ý tưởng theo một cấu trúc chung không loại bỏ được những sự không nhất quán này, chỉ ra rằng vấn đề không chỉ nằm ở sự khác biệt về phong cách viết.

Các nhà nghiên cứu cũng so sánh việc sử dụng câu lệnh đơn giản với các quy trình tác nhân (agentic workflows). Họ đã thử nghiệm GPT-5.6 Sol với ngân sách suy luận cực cao và tìm kiếm lặp lại trực tiếp so với các thiết lập truy xuất tiêu chuẩn. Mặc dù chi phí mỗi quyết định cao gấp khoảng mười lần, bộ đánh giá tác nhân chỉ đạt điểm macro-F1 là 0,78, thấp hơn so với đường cơ sở Claude Opus 4.6 đơn giản đạt 0,89. Điều này chứng minh rằng việc tăng cường sức mạnh tính toán và độ phức tạp của tìm kiếm không tự động chuyển thành khả năng phát hiện độ mới tốt hơn.

Chi tiết chính

• Nghiên cứu đánh giá sáu mô hình: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 và Claude Opus 4.6.
• Những thay đổi trong câu lệnh đã gây ra mức giảm độ chính xác hơn 50 điểm phần trăm đối với GPT-5.4 khi xử lý các ý tưởng do AI tạo ra.
• Tập dữ liệu Human-Only chứa 154 ý tưởng do con người viết có độ mới cao và 145 ý tưởng có độ mới thấp hơn từ các bài phản biện của ICLR 2026.
• Các bộ đánh giá chuyên dụng như Idea Novelty Checker tốn $30,66 mỗi quyết định nhưng chỉ đạt điểm macro-F1 là 0,642.
• Một câu lệnh đơn giản cho Claude Opus 4.6 tốn $2,59 và đạt điểm macro-F1 cao hơn là 0,854.
• Một chuyên gia chú thích đã đồng ý với xu hướng tích cực/tiêu cực được khai thác từ các bài phản biện trong 47/50 trường hợp được kiểm tra.

Tại sao điều này quan trọng

Đối với các nhóm kỹ sư đang xây dựng hệ thống RAG hoặc trợ lý nghiên cứu tự động, nghiên cứu này là một lời cảnh báo chống lại việc tin tưởng vào phán đoán của LLM về tính nguyên bản mà không có sự xác minh chặt chẽ. Nếu hệ thống của bạn sử dụng LLM để lọc hoặc xếp hạng nội dung được tạo ra, đầu ra có thể cực kỳ nhạy cảm với cách diễn đạt câu lệnh hơn là chất lượng nội dung thực tế. Sự bất ổn này có thể dẫn đến việc bác bỏ các ý tưởng hợp lệ hoặc thúc đẩy các công việc phái sinh, làm giảm giá trị của quá trình tự động hóa.

Các phát hiện cũng thách thức giả định rằng các quy trình tác nhân tiên tiến hơn sẽ giải quyết được các vấn đề đánh giá. Việc chi tiêu đáng kể hơn cho các cuộc gọi API để tìm kiếm lặp lại và suy luận có thể mang lại kết quả tồi tệ hơn so với một câu lệnh đơn giản được tinh chỉnh cẩn thận. Điều này có tác động trực tiếp đến tối ưu hóa chi phí và kiến trúc hệ thống. Các nhà phát triển nên ưu tiên kiểm tra tiêu chuẩn vững chắc trên dữ liệu do AI tạo ra thay vì dựa vào các chỉ số hiệu suất bắt nguồn từ văn bản do con người viết.

Bạn có thể làm gì

• Kiểm tra các bộ đánh giá độ mới của bạn trên các ý tưởng do AI tạo ra, không chỉ mẫu do con người viết, để phơi bày sự bất ổn.
• Đo lường độ nhạy cảm bằng cách thay đổi nhẹ nhàng cách diễn đạt câu lệnh và quan sát những thay đổi trong phán quyết.
• Tránh giả định rằng ngân sách suy luận cao hơn hoặc các bước truy xuất sẽ cải thiện độ chính xác của việc phát hiện độ mới.
• Sử dụng các so sánh theo cặp một cách thận trọng, vì phán quyết có thể đảo ngược dựa trên những điều chỉnh nhỏ trong câu lệnh.
• Cân nhắc sử dụng các đường cơ sở câu lệnh đơn giản, chi phí thấp trước khi đầu tư vào các quy trình đánh giá tác nhân phức tạp.
• Áp dụng tiêu chuẩn kiểm tra và quy trình được cung cấp để đánh giá các mô hình mới khi chúng trở nên khả dụng.