Xây dựng với AI

Tại sao các benchmark AI công khai đang làm thất vọng nhà phát triển và những gì cần đo lường thay thế

Các đánh giá AI công khai gặp phải lỗi chấm điểm và chỉ số gây hiểu lầm. Nhà phát triển nên ưu tiên độ tin cậy và chi phí rà soát bởi con người hơn là tỷ lệ vượt qua trung bình.

Một chiếc cúp thủy tinh nứt vỡ có nhãn 'benchmark' đặt trên bàn cùng với các giấy tờ mã nguồn và một kính lúp.
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Khi các mô hình trí tuệ nhân tạo được ra mắt với tốc độ ngày càng nhanh, điểm số đánh giá đã trở thành tín hiệu chính để xác định các khả năng mới. Tuy nhiên, một phân tích gần đây về mười hai benchmark công khai cho thấy những điểm số này thường phản ánh sai lệch hiệu suất thực tế do cơ chế chấm điểm có khiếm khuyết và thiết kế tác vụ quá hạn hẹp.

Chuyện gì đã xảy ra

Một cuộc rà soát toàn diện đối với mười hai bộ đánh giá công khai, bao gồm lập trình, khoa học, công việc tri thức và sử dụng máy tính, đã phát hiện những khiếm khuyết đáng kể trong cách đo lường hiệu suất của mô hình. Trong tám trên mười hai bộ đánh giá được nghiên cứu, bằng chứng cho thấy các hệ thống chấm điểm tự động đã đánh trượt những bài làm lẽ ra phải đạt. Ngay cả khi hệ thống chấm điểm hoạt động đúng, nhiều benchmark vẫn ưu tiên các tác vụ dễ kiểm chứng hơn là những tác vụ phản ánh giá trị thực tế, chẳng hạn như độ tin cậy, tốc độ hoàn thành công việc và sự cộng tác đa vòng lặp.

Nghiên cứu đã xem xét bốn benchmark về lập trình và khoa học, sáu bộ đánh giá về công việc tri thức, và hai bộ tập trung vào duyệt web và sử dụng máy tính. Nó nhấn mạnh rằng việc duy trì benchmark giờ đây tương tự như phát triển phần mềm, với các phiên bản phát hành và những thay đổi gây phá vỡ tính tương thích (breaking changes). Ví dụ, Agents’ Last Exam v1.1 đã loại bỏ ba mươi tác vụ và sửa đổi năm mươi bảy tác vụ khác, trong khi bộ dữ liệu công khai của Harvey LAB tăng từ khoảng 1.250 tác vụ lên 2.010 tác vụ kể từ tháng 5 năm 2026. Những thay đổi này khiến việc so sánh điểm số giữa các phiên bản khác nhau trở nên khó khăn, như trường hợp của Terminal Bench khi loại bỏ các tác vụ đã bão hòa ở mỗi lần phát hành.

Cơ chế hoạt động

Hầu hết các tác vụ đánh giá bao gồm bốn thành phần: một lời nhắc hướng dẫn (instruction prompt), một môi trường như container hoặc máy ảo, một hệ thống chấm điểm, và tùy chọn một giải pháp tham chiếu. Hệ thống chấm điểm quyết định xem bài làm có đạt hay không, sử dụng các bài kiểm tra mã xác định (deterministic code tests), một trọng tài LLM với tiêu chí nhị phân, hoặc kết hợp cả hai. Các nguyên tắc thiết kế ngày càng thiên về việc sử dụng các kiểm tra xác định thay vì trọng tài LLM để đảm bảo tính tái lập, cùng với phương pháp chấm điểm dựa trên kết quả cuối cùng mà bỏ qua các bước trung gian. Nhiều benchmark sử dụng phương pháp chấm điểm "all-pass" (tất cả đều phải đạt), trong đó một tác vụ chỉ được coi là hoàn thành nếu mọi tiêu chí đều được đáp ứng, phản ánh thực tế rằng công việc làm dở dang thường vô dụng trong môi trường sản xuất.

Tuy nhiên, cấu trúc này đưa ra những chế độ lỗi cụ thể. Các mô hình thường bỏ qua các bước xác minh hoặc dừng lại sớm, dẫn đến những lỗi không đáng có. Nghiêm trọng hơn, hệ thống chấm điểm thường tạo ra các cảnh báo giả âm (false negatives) bằng cách áp đặt các yêu cầu không được nêu rõ hoặc sử dụng đáp án mơ hồ. Ngược lại, cảnh báo giả dương (false positives) xảy ra khi các khẳng định chỉ kiểm tra sự hiện diện của từ khóa chứ không phải tính chính xác, cho phép các đầu ra bị ảo giác hoặc sai lệch vẫn được đánh giá là đạt. Ví dụ, một số kiểm tra chỉ xác nhận rằng email chứa các con số cụ thể, bất kể chúng có được gán đúng danh mục hay không.

Chi tiết quan trọng

  • Trong tám trên mười hai bộ đánh giá công khai, các chuyên gia kiểm toán đã tìm thấy bằng chứng về việc hệ thống chấm điểm bác bỏ những bài làm hợp lệ.
  • Phương pháp chấm điểm "all-pass" phổ biến vì kết quả một phần hiếm khi hữu ích, nhưng nó khiến các benchmark dễ bị tổn thương trước một khẳng định đơn lẻ bị lỗi.
  • Cảnh báo giả dương rất phổ biến; một cuộc kiểm toán phát hiện ra các ảo giác nghiêm trọng trong hơn 60% kết quả đã vượt qua tất cả các tiêu chí.
  • Tỷ lệ vượt qua trung bình che giấu các vấn đề về độ tin cậy; một mô hình giải quyết nhất quán 70% tác vụ có giá trị hơn một mô hình giải quyết mọi tác vụ với xác suất 70%.
  • Chi phí trên mỗi tác vụ là một chỉ số gây hiểu lầm vì nó bỏ qua sự chú ý của con người cần thiết để rà soát và sửa chữa các đầu ra thất bại hoặc chưa hoàn chỉnh.
  • Điểm số benchmark phản ánh cặp đôi mô hình-giá đỡ (harness), chứ không riêng mô hình, nghĩa là hiệu suất thay đổi đáng kể dựa trên các công cụ xung quanh và lời nhắc được sử dụng.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và trưởng nhóm kỹ thuật, việc phụ thuộc vào điểm số trên bảng xếp hạng công khai có thể dẫn đến những quyết định kiến trúc kém cỏi. Khoảng cách giữa hiệu suất benchmark và tính hữu ích trong sản xuất đang ngày càng rộng ra vì các bộ đánh giá thường đo lường việc tuân theo hướng dẫn và chi tiết triển khai hơn là khả năng phán đoán và phạm vi hóa vấn đề. Công việc thực tế liên quan đến các tương tác đa vòng lặp, làm rõ các yêu cầu mơ hồ và thích ứng với các ràng buộc thay đổi, nhưng hầu hết các benchmark vẫn giữ dạng single-shot (một lần thực hiện). Sự không khớp này có nghĩa là các mô hình xuất sắc trong đánh giá có thể gặp khó khăn với bản chất cộng tác và lặp đi lặp lại của các tác vụ kỹ thuật thực tế.

Hơn nữa, việc tập trung vào chi phí token thay vì chi phí sự chú ý của con người làm méo mó các tính toán kinh tế. Một mô hình rẻ tiền nhưng thường xuyên thất bại hoặc đòi hỏi sự rà soát kỹ lưỡng của con người rốt cuộc sẽ đắt đỏ hơn một mô hình giá cao nhưng cung cấp công việc đáng tin cậy và hoàn chỉnh. Khi các mô hình cải thiện, lỗi của hệ thống chấm điểm chiếm tỷ trọng lớn hơn trong các thất bại còn lại, khiến việc đầu tư vào hạ tầng chấm điểm tốt hơn trở nên thiết yếu thay vì chỉ tạo ra các tác vụ khó hơn. Nhà phát triển phải nhận thức rằng điểm số benchmark không phải là chân lý tuyệt đối mà là một chỉ số phụ thuộc vào ngữ cảnh, chịu ảnh hưởng bởi giá đỡ cụ thể và logic chấm điểm được sử dụng.

Bạn có thể làm gì

  • Đánh giá các mô hình bên trong giá đỡ sản xuất (production harness) của riêng bạn thay vì chỉ dựa vào điểm số do nhà cung cấp báo cáo.
  • Đo lường độ tin cậy bằng các chỉ số pass@k, chỉ tính một tác vụ là đã giải quyết nếu agent vượt qua nhiều lần thử nghiệm một cách nhất quán.
  • Đưa thời gian rà soát của con người vào tính toán chi phí, nhận thức rằng token rẻ thường dẫn đến chi phí quản lý kỹ thuật đắt đỏ.
  • Kiểm toán quy trình đánh giá của riêng bạn để tìm các cảnh báo giả âm bằng cách kiểm tra các tác vụ nơi nhiều mô hình cùng thất bại ở cùng một khẳng định.
  • Ưu tiên các benchmark kiểm tra tương tác đa vòng lặp và khả năng phán đoán, hoặc bổ sung cho các đánh giá single-shot bằng các cuộc hội thoại giả lập với người dùng.
  • Triển khai các bài kiểm tra phủ định (negative tests) trong logic chấm điểm của bạn để đảm bảo rằng các đầu ra xấu đã biết bị hệ thống đánh giá của bạn bác bỏ đúng cách.
  • #ai evaluation
  • #benchmarks
  • #llm testing
  • #software engineering
  • #reliability

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Tất cả bài viết