ParseBench-2 giới thiệu các chỉ số đánh giá dựa trên mức độ nghiêm trọng cho việc phân tích tài liệu
LlamaIndex đã ra mắt ParseBench-2, một bộ benchmark với 4.317 trường hợp kiểm thử nhằm đánh giá khả năng phân tích tài liệu qua sáu khía cạnh bằng phương pháp tính điểm có giới hạn theo mức độ nghiêm trọng.
Được dịch tự động từ bản gốc tiếng Anh.
LlamaIndex vừa phát hành ParseBench-2, một bộ benchmark toàn diện được thiết kế để đánh giá độ chính xác của các hệ thống phân tích tài liệu. Được công bố vào ngày 12 tháng 11 năm 2026, bản cập nhật này mở rộng từ phiên bản tiền nhiệm bằng cách giới thiệu các chỉ số đánh giá nhạy cảm với mức độ nghiêm trọng và các tập dữ liệu mới nhắm vào những tài liệu thực tế phức tạp. Phiên bản này cung cấp cho các nhà phát triển xây dựng quy trình retrieval-augmented generation (RAG) một tiêu chuẩn khắt khe hơn để đo lường mức độ hệ thống của họ xử lý văn bản, bảng biểu, biểu đồ và mẫu đơn.
Chuyện gì đã xảy ra
ParseBench-2 kết hợp phạm vi phủ sóng rộng rãi các tài liệu thực tế với một phương pháp tính điểm mới, ưu tiên các lỗi nghiêm trọng hơn là những vấn đề định dạng nhỏ. Bộ benchmark bao gồm 4.317 trường hợp kiểm thử ở cấp độ trang, được trích xuất từ 2.645 tài liệu nguồn. Các trường hợp này bao gồm những trang đã sửa đổi từ ParseBench-1 cùng với 2.293 ví dụ mới, được chọn lọc kỹ lưỡng để thách thức các bộ phân tích với bố cục khó, bảng biểu dày đặc và mẫu đơn chính phủ. Tập dữ liệu được lưu trữ trên Hugging Face và đi kèm với một bộ công cụ đánh giá mã nguồn mở có tên parse-bench.
Bản cập nhật giới thiệu sáu khía cạnh năng lực: văn bản, định dạng, bảng biểu, biểu đồ, neo trực quan (bố cục) và mẫu đơn. Một bổ sung đáng kể là khía cạnh Mẫu đơn (Forms), bao gồm 600 trang mẫu đơn, trong đó có các tài liệu chính phủ thực tế với cả nội dung đã điền và các trường trống. Bộ benchmark cũng thêm các tập con chuyên biệt cho các tiêu đề bảng phức tạp, bảng tài chính, bảng khai báo bảo hiểm và bảng biểu dày đặc. Sự mở rộng này giải quyết các điểm thất bại phổ biến trong các hệ thống sản xuất, nơi mà các mối quan hệ cấu trúc và giá trị dữ liệu cụ thể đóng vai trò then chốt đối với các tác vụ hạ nguồn.
Cách thức hoạt động
Đổi mới cốt lõi trong ParseBench-2 là việc sử dụng các chỉ số đánh giá nhạy cảm với mức độ nghiêm trọng. Thay vì chỉ tính toán tỷ lệ phần trăm độ chính xác, điểm số của mỗi trang được xác định bởi giá trị thấp hơn giữa điểm phân tích và giới hạn mức độ nghiêm trọng. Điều này có nghĩa là ngay cả khi một bộ phân tích xử lý đúng 99% nội dung của một trang, chỉ một lỗi nghiêm trọng duy nhất—chẳng hạn như đảo ngược phủ định hoặc đọc sai chữ số trong bảng tài chính—cũng sẽ làm giảm đáng kể điểm số. Các chỉ số này được hiệu chỉnh dựa trên 330 kịch bản kiểm soát thuộc sáu bộ bài kiểm tra mức độ nghiêm trọng, phân loại lỗi thành nghiêm trọng, lớn, nhỏ hoặc không đáng kể.
Bộ mã đánh giá đi kèm với gói parse-bench, cho phép các nhà phát triển chạy quy trình trên mọi tập con và tạo ra các báo cáo chi tiết. Hệ thống kiểm tra hơn 140 loại lỗi, bao gồm thay đổi sự kiện, phá vỡ mối quan hệ cấu trúc, thiếu nội dung và bịa đặt nội dung. Ví dụ, trong khía cạnh bảng biểu, việc hoán đổi tiêu đề được coi là lỗi nghiêm trọng, trong khi mã HTML thừa được xem là biến thể không đáng kể và không bị trừ điểm. Cách tiếp cận này đảm bảo rằng bộ benchmark phản ánh đúng tác động thực tế của các lỗi đối với logic kinh doanh và niềm tin của người dùng.
Chi tiết chính
- Kích thước tập dữ liệu: 4.317 trường hợp kiểm thử cấp trang từ 2.645 tài liệu nguồn, bao gồm 2.293 trường hợp khó mới.
- Sáu khía cạnh: Văn bản, định dạng, bảng biểu, biểu đồ, bố cục (neo trực quan) và mẫu đơn.
- Tính điểm dựa trên mức độ nghiêm trọng: Các chỉ số bị giới hạn bởi mức độ nghiêm trọng, đảm bảo các lỗi nghiêm trọng như đọc sai chữ số hoặc đảo ngược phủ định ảnh hưởng nặng nề đến điểm số.
- Kiểm tra mẫu đơn mới: Bao gồm 500 trang mẫu đơn chính phủ thực tế và 100 trang mẫu đơn có thể điền, kiểm tra tính chính xác của giá trị trường và cách xử lý các trường trống.
- Công cụ mã nguồn mở: Gói
parse-benchcho phép người dùng cài đặt qua pip và chạy đánh giá cục bộ, tạo ra báo cáo CSV và HTML theo từng trang. - Điểm số không so sánh được: Điểm số từ ParseBench-2 không thể so sánh với ParseBench-1 do các chú thích đã sửa đổi và định nghĩa chỉ số mới.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng hệ thống RAG, phân tích tài liệu thường là mắt xích yếu nhất trong chuỗi. Các bộ benchmark truyền thống có thể bỏ qua những lỗi tinh vi nhưng thảm khốc, chẳng hạn như hiểu sai từ "không" trong một điều khoản pháp lý hoặc hoán đổi các hàng trong bảng tài chính. Các chỉ số nhạy cảm với mức độ nghiêm trọng của ParseBench-2 cung cấp một đánh giá thực tế hơn về những rủi ro này. Bằng cách làm nổi bật các thất bại nghiêm trọng mà các chỉ số độ chính xác thông thường có thể bỏ sót, nó giúp các đội ngũ ưu tiên cải thiện những khía cạnh thực sự quan trọng đối với độ tin cậy của sản phẩm và an toàn cho người dùng.
Việc đưa vào các tập dữ liệu chuyên biệt cho bảng tài chính và bảo hiểm, cũng như mẫu đơn chính phủ, giải quyết những điểm đau cụ thể trong các ứng dụng doanh nghiệp. Những tài liệu này thường có cấu trúc phức tạp, ô ghép và tiêu đề phân cấp gây nhầm lẫn cho các bộ phân tích tiêu chuẩn. Bằng cách kiểm tra trước những thách thức cụ thể này, các nhà phát triển có thể xác định điểm yếu trong các thành phần OCR và phân tích bố cục của họ trước khi chúng được đưa vào môi trường sản xuất. Điều này dẫn đến các hệ thống mạnh mẽ hơn, có khả năng xử lý thực tế lộn xộn của tài liệu quét và bố cục nhiều cột.
Bạn có thể làm gì
- Cài đặt bộ đánh giá bằng cách sử dụng
pip install "parse-bench[runners,fast]"để bắt đầu kiểm tra quy trình phân tích hiện tại của bạn. - Tải tập dữ liệu xuống thư mục
./data_parsebench-2và chạy các bộ tính điểm mặc định để thiết lập điểm hiệu suất cơ sở. - Xem xét các báo cáo HTML theo từng trang để xác định các loại lỗi cụ thể, chẳng hạn như tiêu đề bị bỏ sót hoặc liên kết ô bảng không chính xác.
- So sánh kết quả của bạn với bảng xếp hạng bằng cách gửi điểm số thông qua yêu cầu pull request tới kho lưu trữ Hugging Face của mô hình.
- Sử dụng các tập con chuyên biệt, chẳng hạn như
financial_tableshoặcforms, để tập trung nỗ lực tối ưu hóa vào các loại tài liệu quan trọng nhất cho ứng dụng của bạn. - Mở rộng đánh giá sang các bộ phân tích tùy chỉnh của riêng bạn bằng cách định dạng đầu ra theo bố cục kết quả của ParseBench và chạy lệnh đánh giá.



