Xây dựng với AI

AI xuất sắc trong lập trình nhưng gặp khó với các nhiệm vụ nghiên cứu đòi hỏi nhiều phán đoán

Đánh giá cập nhật của METR cho thấy các mô hình AI cải thiện nhanh chóng ở những tác vụ có thể kiểm chứng như lập trình, nhưng lại chưa đáp ứng được các thách thức mở và dựa trên phán đoán.

Một chiếc cân so sánh các yếu tố mã nguồn có cấu trúc với những hình dạng đám mây trừu tượng đại diện cho phán đoán.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Tổ chức phi lợi nhuận về đánh giá AI METR đã công bố một báo cáo cập nhật vào ngày 20 tháng 11 năm 2026, tiết lộ rằng mặc dù các mô hình tiên phong (frontier models) tiếp tục cải thiện theo cấp số nhân ở các tác vụ có thể kiểm chứng, chúng vẫn còn kém xa trong những lĩnh vực đòi hỏi khả năng phán đoán giống con người. Bản cập nhật này giải quyết những hiểu lầm phổ biến về các biểu đồ chân trời thời gian trước đó bằng cách đưa vào các tác vụ phức tạp hơn, mang tính mở, phản ánh tốt hơn nhu cầu của hoạt động nghiên cứu và phát triển tự động.

Chuyện gì đã xảy ra

Phân tích mới nhất của METR cập nhật biểu đồ chân trời thời gian nổi tiếng của tổ chức này, vốn theo dõi tiến bộ của AI bằng cách đo lường độ dài các tác vụ mà mô hình có thể hoàn thành so với con người. Biểu đồ ban đầu cho thấy cứ mỗi bốn tháng, năng lực của các mô hình tiên phong lại tăng gấp đôi xét về thời lượng tác vụ. Tuy nhiên, phiên bản trước đó tập trung chủ yếu vào các lĩnh vực có thể kiểm chứng như lập trình và toán học, nơi thành công là nhị phân (đúng/sai) và dễ dàng kiểm tra tự động. Báo cáo mới mở rộng phạm vi này để bao gồm các tác vụ khó định nghĩa và đánh giá hơn, chẳng hạn như thiết kế các bài đánh giá AI mới hoặc chấm điểm các lập luận triết học.

Các phát hiện làm nổi bật sự phân kỳ ngày càng lớn về năng lực. Trong khi các mô hình tiên tiến hiện nay vượt trội hơn hầu hết mọi con người trong kỹ thuật phần mềm, chúng đã không tạo ra bất kỳ thiết kế đánh giá AI hữu ích nào khi được yêu cầu thực hiện điều đó cho chính nghiên cứu của METR. Tương tự, khi được giao nhiệm vụ chấm điểm các lập luận triết học, các mô hình đã không đạt được hiệu suất ngang bằng với con người. Những kết quả này gợi ý rằng các kỹ thuật học tăng cường (reinforcement learning) thúc đẩy thành công trong lập trình vẫn chưa chuyển đổi hiệu quả sang các tác vụ nghiên cứu mở, nơi tiêu chí thành công thường mơ hồ hoặc mang tính chủ quan.

Sự khác biệt này rất quan trọng trong bối cảnh những lo ngại gần đây về việc tự cải thiện đệ quy (recursive self-improvement) trong AI. Một báo cáo riêng biệt, bị biên tập nặng nề bởi METR trước đây từng gợi ý rằng AI có thể đang đẩy nhanh tiến độ tại Anthropic lên gấp đôi, gây ra nỗi sợ hãi về thiết kế AI tự chủ. Bằng cách thử nghiệm các mô hình trên những tác vụ đòi hỏi nhiều phán đoán, METR nhằm mục đích cung cấp cái nhìn rõ ràng hơn về việc liệu các hệ thống AI có thực sự có thể tự động hóa quy trình nghiên cứu hay nếu chúng vẫn chỉ giới hạn ở việc thực thi các hướng dẫn được xác định rõ ràng.

Cơ chế hoạt động

METR đánh giá năng lực AI bằng cách giao các tác vụ cho cả mô hình và người kiểm tra là con người. Trong khung ban đầu, độ khó được xác định bởi thời gian thực tế mà con người cần để hoàn thành các tác vụ cụ thể. Các mô hình sau đó được xếp hạng dựa trên tác vụ dài nhất mà chúng có thể hoàn thành thành công. Đối với các tác vụ có thể kiểm chứng như lập trình, phương pháp này khá vững chắc vì các bài kiểm tra tự động có thể xác nhận xem mã nguồn có hoạt động đúng hay không. Học tăng cường tận dụng sự rõ ràng này bằng cách củng cố các đường dẫn thần kinh dẫn đến đầu ra chính xác và làm suy yếu những đường dẫn gây ra lỗi.

Đối với báo cáo cập nhật, METR đã đưa vào các tác vụ khó có thể kiểm chứng tự động. Thay vì trả tiền cho con người để hoàn thành những tác vụ có thể kéo dài hàng trăm giờ này, các nhà nghiên cứu đã ước tính thời gian hoàn thành do những hạn chế về chi phí và chuyên môn. Một số tác vụ, như thiết kế các bài đánh giá, được chấm điểm bởi nhân viên con người tại METR. Những tác vụ khác, chẳng hạn như chấm điểm lập luận triết học, dựa trên mức độ đồng thuận với một người đánh giá duy nhất. Sự chuyển dịch từ đo lường thời gian thực nghiệm sang ước tính của chuyên gia và chấm điểm chủ quan này đưa vào các biến số mới nhưng cho phép đánh giá các kỹ năng nhận thức cấp cao hơn.

Chi tiết chính

  • Các mô hình AI tiên phong tăng gấp đôi năng lực hoàn thành tác vụ cứ mỗi bốn tháng đối với các tác vụ có thể kiểm chứng.
  • Không có thiết kế đánh giá nào do AI tạo ra được nhân viên METR coi là hữu ích, mặc dù các mô hình vượt trội hơn con người trong lập trình.
  • Các mô hình chưa đạt được hiệu suất ngang bằng con người trong việc chấm điểm các lập luận triết học, một chỉ báo đại diện cho khả năng phán đoán.
  • Các mô hình mới hơn như Opus 5.5 đã đạt được hiệu suất "vượt nhẹ ngưỡng" trong thiết kế đánh giá, tăng so với mức "rõ ràng dưới ngưỡng" của một năm trước.
  • Độ khó của tác vụ đối với các công việc mang tính mở hiện nay chủ yếu được ước tính thay vì đo lường bằng thời gian hoàn thành thực tế của con người.
  • Các chuyên gia đồng ý rằng các phương pháp đánh giá hiện tại cho những tác vụ đòi hỏi nhiều phán đoán vẫn còn non trẻ và khó định lượng.

Tại sao điều này quan trọng

Đối với các nhà phát triển phần mềm và trưởng nhóm kỹ thuật, báo cáo này làm rõ các ranh giới hiện tại của hỗ trợ AI. Nó xác nhận rằng trong khi AI có thể xử lý các vấn đề lập trình và toán học phức tạp với độ tin cậy cao, nó vẫn chưa thể được tin tưởng để đưa ra các quyết định chiến lược hoặc xác định các hướng nghiên cứu mới. Sự khác biệt này rất quan trọng đối với các đội ngũ đang cân nhắc tự động hóa một phần quy trình R&D của họ. Việc dựa vào AI cho các tác vụ đòi hỏi "gu nghiên cứu" hoặc phán đoán chủ quan có thể dẫn đến kết quả kém, vì các mô hình thiếu khả năng phân biệt chất lượng trong những không gian chưa được xác định rõ.

Hơn nữa, khó khăn trong việc đánh giá các tác vụ đòi hỏi nhiều phán đoán này có nghĩa là các chỉ số tiến độ có thể trở nên kém tin cậy hơn. Khi AI bước vào các lĩnh vực mà thành công không phải là nhị phân, các xu hướng tăng trưởng theo cấp số nhân sạch sẽ thấy trong các benchmark lập trình có thể không còn áp dụng được. Các kỹ sư và nhà sáng lập cần thận trọng khi ngoại suy tốc độ tăng trưởng hiện tại để dự đoán khi nào AI sẽ tự động hóa hoàn toàn nghiên cứu. Khoảng cách giữa thực thi có thể kiểm chứng và sáng tạo mang tính mở vẫn là một nút thắt đáng kể.

Bạn có thể làm gì

  • Sử dụng AI cho các tác vụ có thể kiểm chứng như tạo mã, gỡ lỗi và viết đơn vị kiểm thử (unit test), nơi thành công dễ dàng đo lường.
  • Tránh ủy quyền lập kế hoạch chiến lược, tạo giả thuyết hoặc đánh giá định tính cho các mô hình AI hiện tại.
  • Triển khai các quy trình làm việc có con người tham gia (human-in-the-loop) cho bất kỳ tác vụ nào liên quan đến phán đoán chủ quan hoặc giải quyết vấn đề mang tính mở.
  • Theo dõi các khung đánh giá mới nổi tập trung vào phán đoán và sự sáng tạo, thay vì chỉ dựa vào các benchmark lập trình.
  • Hãy hoài nghi trước những tuyên bố rằng AI có thể tự động hóa hoàn toàn R&D cho đến khi các chỉ số mạnh mẽ cho những tác vụ đòi hỏi nhiều phán đoán được thiết lập.
  • Đầu tư vào đào tạo đội ngũ để phê bình và tinh chỉnh hiệu quả các đầu ra của AI trong các lĩnh vực mơ hồ.
  • #ai evaluation
  • #machine learning
  • #metr
  • #llm limitations
  • #ai research

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết