Surge AI ra mắt DAYJOB: Benchmark thuế cho đánh giá tác nhân AI chuyên nghiệp

Surge AI đã phát hành DAYJOB: Tax, một benchmark mới được thiết kế để đánh giá mức độ xử lý công việc thuế chuyên nghiệp của các tác nhân trí tuệ nhân tạo. Được công bố vào cuối tháng 10 năm 2026, bổ sung này cho gia đình DAYJOB kiểm tra các tác nhân trong những kịch bản thực tế liên quan đến chuẩn bị hồ sơ thuế, tuân thủ và dịch vụ tư vấn, nơi các hướng dẫn thường không đầy đủ hoặc mơ hồ.

Benchmark cho thấy ngay cả các mô hình tiên phong (frontier models) hàng đầu cũng gặp khó khăn với sự tinh tế cần thiết trong các lĩnh vực chuyên môn. Claude Sonnet 5.5 đạt điểm cao nhất với tỷ lệ vượt qua 10,8%, cho thấy lời khuyên thuế tự động đáng tin cậy vẫn là một thách thức lớn đối với công nghệ hiện tại. Việc đánh giá này vượt ra ngoài câu trả lời đơn giản cho các câu hỏi, nhằm xác định xem các tác nhân có thể nhận diện rủi ro ẩn và đưa ra phán đoán chuyên môn hay không.

Điều gì đã xảy ra

DAYJOB: Tax mở rộng từ các benchmark trước đây tập trung vào y tế và tài chính bằng cách nhắm vào những phức tạp cụ thể của thực hành thuế. Bộ công cụ bao gồm 50 môi trường riêng biệt trải khắp tám lĩnh vực công việc thuế, chẳng hạn như thuế cá nhân và gia đình, thuế doanh nghiệp nhỏ, hợp danh và thuế quốc tế. Trong mỗi môi trường, một tác nhân AI nhận yêu cầu của khách hàng cùng với một bộ hồ sơ hỗ trợ. Sau đó, tác nhân phải tạo ra các sản phẩm bàn giao như tờ khai thuế, báo cáo kỹ thuật hoặc thư tư vấn cho khách hàng.

Khác với các benchmark tiêu chuẩn cung cấp một vấn đề được định nghĩa rõ ràng, DAYJOB: Tax đặt ra những tình huống lộn xộn và thực tế. Các tác nhân phải xác định thông tin còn thiếu, giải quyết các bằng chứng mâu thuẫn trong tài liệu và quyết định những vấn đề nào cần điều tra thêm. Ví dụ, một nhiệm vụ liên quan đến hóa đơn mua hàng viết tay mà tác nhân phải đối chiếu với hồ sơ chi tiêu để xác định chi phí tồn kho. Một kịch bản khác yêu cầu phân tích nhật ký điều phối hiện trường để phát hiện các nghĩa vụ thuế đa bang mà khách hàng không hề hay biết.

Tiêu chí đánh giá rất nghiêm ngặt. Một nỗ lực chỉ được coi là vượt qua nếu đáp ứng ít nhất 95% rubric (bảng chấm điểm) của nhiệm vụ, kiểm tra tính chính xác của phép tính, sử dụng đúng bằng chứng hỗ trợ, nhận diện các vấn đề hệ quả và hoàn thành sản phẩm bàn giao bắt buộc. Tiêu chuẩn cao này đảm bảo rằng điểm số vượt qua phản ánh năng lực chuyên môn thực sự chứ không chỉ là sự đúng đắn một phần.

Cách hoạt động

Benchmark dựa trên một kho dữ liệu thực tế lớn để mô phỏng các quy trình làm việc chuyên nghiệp. Mỗi trong 50 môi trường chứa một không gian làm việc gồm các tệp, với trung vị 30 tài liệu mỗi bài toán và một số lên tới 123 tệp. Những không gian làm việc này bao gồm 1.487 tệp PDF, 117 sổ làm việc Excel và nhiều định dạng khác như email, hình ảnh và bản ghi JSON. Các tài liệu mô phỏng những gì một chuyên gia thuế sẽ nhìn thấy, bao gồm tờ khai đã nộp, thông báo từ IRS, sổ cái tổng hợp và thậm chí cả ảnh chụp hóa đơn giấy.

Các chuyên gia thuế có nền tảng từ những công ty như PwC, Deloitte và Baker Tilly đã tạo ra và rà soát các nhiệm vụ này. Họ phát triển các kịch bản dựa trên quy trình làm việc chuyên nghiệp thực tế, đảm bảo rằng kết quả mong đợi và tiêu chí chấm điểm phản ánh các tiêu chuẩn ngành thực tế. Mỗi nhiệm vụ đều trải qua quy trình rà soát ba lớp bởi chuyên gia để xác minh tính chính xác, đầy đủ và khả năng giải quyết. Thiết kế có con người tham gia (human-in-the-loop) này đảm bảo rằng benchmark đo lường các năng lực quan trọng trong thực tiễn, chẳng hạn như nhận biết khi giả định của khách hàng về tình trạng hôn nhân của họ có thể không đúng về mặt pháp lý.

Chi tiết chính

• Hiệu suất hàng đầu: Claude Sonnet 5.5 dẫn đầu bảng xếp hạng với tỷ lệ vượt qua 10,8%, tiếp theo là Claude Fable 5.1 ở mức 9,6% và Claude Opus 5.5 ở mức 9,2%.
• Phạm vi: Benchmark bao phủ 50 môi trường thuộc tám lĩnh vực thực hành thuế, bao gồm di sản, quà tặng, tín thác và giao dịch doanh nghiệp.
• Khối lượng dữ liệu: Các không gian làm việc chứa tổng cộng 1.789 tệp, với trung vị 30 tệp mỗi bài toán, bao gồm PDF, trang tính Excel và hình ảnh.
• Chấm điểm nghiêm ngặt: Để vượt qua, cần thỏa mãn 95% tiêu chí rubric, đánh giá các phép tính, việc sử dụng bằng chứng và nhận diện các vấn đề hệ quả.
• Xác minh bởi chuyên gia: Các nhiệm vụ được tạo và rà soát bởi các chuyên gia thuế có kinh nghiệm tại các công ty lớn như PwC, Deloitte và Exxon.
• Độ phức tạp thực tế: Các kịch bản bao gồm dữ liệu phi cấu trúc như hóa đơn viết tay và bằng chứng mâu thuẫn như nhật ký làm việc đa bang.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng tác nhân AI, DAYJOB: Tax nhấn mạnh khoảng cách giữa việc trả lời một câu hỏi cụ thể và quản lý trách nhiệm chuyên môn. Nhiều benchmark hiện có kiểm tra xem mô hình có thể tính toán tờ khai thuế hoặc trả lời một truy vấn pháp lý hay không. Tuy nhiên, trong dịch vụ chuyên nghiệp, giá trị chính thường nằm ở việc xác định những gì khách hàng quên hỏi. Như thấy trong trường hợp bán căn hộ của Anna, một tác nhân có thể trả lời đúng câu hỏi trực tiếp nhưng bỏ lỡ một thời hạn quan trọng có thể khiến khách hàng mất hàng trăm nghìn đô la. Sự khác biệt này rất quan trọng đối với các nhà phát triển nhằm triển khai tác nhân trong các môi trường rủi ro cao.

Tỷ lệ vượt qua thấp cũng gợi ý rằng các mô hình hiện tại chưa sẵn sàng cho việc triển khai tự động hoàn toàn trong vai trò tư vấn thuế. Mặc dù chúng có thể thực hiện các bước riêng lẻ như truy xuất hoặc tính toán, chúng thường thất bại trong việc tích hợp các kỹ năng này thành một phán đoán chuyên môn mạch lạc. Điều này ngụ ý rằng sự giám sát của con người vẫn là thiết yếu. Các nhà phát triển nên tập trung vào việc xây dựng hệ thống hỗ trợ chuyên gia bằng cách làm nổi bật các vấn đề tiềm năng và tổ chức bằng chứng, thay vì thay thế hoàn toàn quá trình ra quyết định.

Bạn có thể làm gì

• Xem xét bảng xếp hạng DAYJOB: Tax để hiểu các hạn chế hiện tại của các mô hình tiên phong trong các lĩnh vực chuyên môn.
• Thiết kế quy trình làm việc của tác nhân mà chủ động nhắc nhở về thông tin còn thiếu hoặc bằng chứng mâu thuẫn trước khi tạo ra lời khuyên cuối cùng.
• Triển khai các bước xác minh nghiêm ngặt cho bất kỳ phép tính tài chính hoặc pháp lý nào do tác nhân AI tạo ra.
• Sử dụng các phương pháp lai ghép, nơi AI xử lý việc truy xuất và tóm tắt tài liệu, nhưng con người đưa ra phán đoán cuối cùng về các vấn đề hệ quả.
• Kiểm thử các tác nhân của bạn chống lại các bộ dữ liệu lộn xộn, phi cấu trúc tương tự để xác định các chế độ thất bại trong việc tuân theo hướng dẫn.
• Cập nhật các phương pháp luận benchmark để đảm bảo các chỉ số đánh giá của bạn phù hợp với các tiêu chuẩn chuyên nghiệp thực tế.