Tại sao các chứng minh Lean do AI tạo ra cần nhiều hơn là chỉ kiểm tra biên dịch
Một phân tích mới cho thấy các chứng minh hình thức bằng Lean do AI tạo ra đòi hỏi các bước xác minh chặt chẽ vượt ra ngoài việc biên dịch để đảm bảo chúng thực sự khớp với các phát biểu toán học dự kiến.
Được dịch tự động từ bản gốc tiếng Anh.
Những tuyên bố gần đây rằng trí tuệ nhân tạo đã giải quyết các bài toán toán học lớn bằng cách sử dụng trợ lý chứng minh Lean đòi hỏi sự xem xét kỹ lưỡng. Một cuộc kiểm tra chi tiết đối với kho dữ liệu định lý mới nhất của OpenAI và các đầu ra tương tự từ DeepMind cho thấy việc chỉ có mã nguồn biên dịch được là không đủ để đảm bảo tính chính xác. Các kỹ sư và nhà toán học phải thực hiện các bài kiểm tra xác thực cụ thể để thu hẹp khoảng cách giữa các tuyên bố trên giấy tờ không chính thức và mã nguồn hình thức.
Chuyện gì đã xảy ra
Vào tháng trước, OpenAI đã công bố một bộ sưu tập gồm 722 bài báo toán học, trong đó khoảng 45% đi kèm với mã nguồn Lean. Kể từ khi phát hành, ba trong số các bài báo không có mã nguồn hình thức đã bị rút lại do lỗi dấu, đặt ra câu hỏi về độ tin cậy của toàn bộ lô dữ liệu này. Trong khi một số quan sát viên lập luận rằng hệ thống kiểu nghiêm ngặt của Lean đảm bảo sự thật, những người khác chỉ ra rằng các mô hình AI có thể khai thác các lỗ hổng hoặc việc hình thức hóa có thể không khớp với ý định ban đầu. Thực tế nằm ở một vùng trung gian tinh vi nơi việc xác minh là khả thi nhưng đòi hỏi nỗ lực có chủ đích.
Vấn đề cốt lõi là nhiều kho lưu trữ do AI tạo ra chưa trải qua thử nghiệm có hệ thống. Ví dụ, trong kho dữ liệu của OpenAI, khoảng 38 trong số 290 định lý có mã nguồn Lean thậm chí không nêu rõ, chứ đừng nói đến chứng minh, kết quả chính được tuyên bố trong tệp PDF tương ứng. Trong một trường hợp, một bài báo tuyên bố giải quyết giả thuyết đa bội Lech chỉ hình thức hóa một hệ quả nhỏ. Sự sai lệch này làm nổi bật rằng "có mã nguồn Lean" không đồng nghĩa với "có một chứng minh đã được xác minh cho định lý tiêu đề".
Các vấn đề tương tự cũng xuất hiện trong công việc của các tổ chức khác. Việc hình thức hóa giả thuyết Hodge của DeepMind dựa vào hơn 10.000 dòng mã tùy chỉnh vì các thư viện chuẩn thiếu các định nghĩa cần thiết. Tuyên bố của Axiom liên quan đến phân loại các nhóm đơn hữu hạn phụ thuộc vào một thư viện khổng lồ do AI tạo ra có tên Tau Ceti, chứa hơn 250.000 dòng mã. Nếu không có các chuyên gia con người xác minh những định nghĩa nền tảng này, tính chính xác của bản thân phát biểu vẫn còn không chắc chắn, bất kể chứng minh có biên dịch được hay không.
Cách hoạt động
Để tin tưởng vào một chứng minh Lean do AI tạo ra, người ta phải trả lời bốn câu hỏi quan trọng. Thứ nhất, phát biểu Lean có khớp với phát biểu không chính thức trong bài báo không? Lean phân biệt rõ ràng giữa phát biểu của một định lý và chứng minh của nó. Một phát biểu có thể đúng về mặt cú pháp nhưng sai về mặt toán học, chẳng hạn như định nghĩa Định lý cuối cùng của Fermat trên các số tự nhiên bao gồm cả số không, điều này làm cho phát biểu trở nên hiển nhiên là sai. Việc xác minh sự khớp nối này thường đòi hỏi đọc hàng nghìn dòng mã phụ thuộc, đặc biệt khi các thư viện chuẩn như Mathlib là không đủ.
Thứ hai, mã nguồn có biên dịch được không? Mã nguồn do AI tạo ra có thể tốn nhiều tài nguyên hoặc tiềm ẩn độc hại. Việc hình thức hóa Định lý cuối cùng của Fermat của Anthropic đòi hỏi 96 lõi và 500 gigabyte RAM để biên dịch, trong khi giải pháp Navier-Stokes của OpenAI vừa vặn trên một chiếc laptop. Các nhà phát triển luôn nên chạy mã nguồn do AI tạo ra trong môi trường sandbox trước khi thực thi để ngăn ngừa hư hỏng hệ thống tiềm tàng. Biên dịch xác nhận tính hợp lệ về cú pháp nhưng không xác nhận tính đúng đắn về ngữ nghĩa.
Thứ ba, mã nguồn có chứng minh định lý như đã nêu không? Các tệp chứng minh có thể nhập hàng triệu dòng mã không đáng tin cậy, có thể âm thầm định nghĩa lại các thuật ngữ hoặc thêm các tiên đề. Để xác minh rằng chứng minh trong các tệp không đáng tin cậy khớp với phát biểu trong các tệp đáng tin cậy, các nhà phát triển sử dụng một công cụ gọi là lake comparator. Công cụ này đảm bảo rằng định lý được chứng minh giống hệt với định lý được phát biểu và không có tiên đề bổ sung nào được đưa ra trong quá trình chứng minh.
Thứ tư, mã nguồn có khai thác một lỗi trong kernel của Lean không? Mặc dù hiếm gặp, các lỗi về tính đúng đắn (soundness bugs) vẫn có thể tồn tại. Để giảm thiểu rủi ro này, người ta có thể sử dụng lake comparator --paranoid, công cụ kiểm tra chứng minh chống lại nhiều kernel độc lập, bao gồm cả những kernel đã được xác minh hình thức. Nếu một chứng minh vượt qua trên các kernel khác nhau, rất khó có khả năng nó dựa vào một lỗi triển khai cụ thể.
Chi tiết chính
- Kho dữ liệu gần đây của OpenAI bao gồm 722 bài báo, với 45% có mã nguồn Lean liên quan.
- Khoảng 38 trong số 290 định lý liên quan đến Lean không hình thức hóa kết quả chính của bài báo.
- Việc xác minh phát biểu của các định lý phức tạp có thể đòi hỏi xem xét hơn 10.000 dòng mã định nghĩa tùy chỉnh.
- Công cụ
lake comparatorkiểm tra xem định lý được chứng minh có khớp với định lý được phát biểu mà không có tiên đề ẩn hay không. - Sử dụng
lake comparator --paranoidxác thực các chứng minh chống lại nhiều kernel độc lập để loại trừ các lỗi phần mềm. - Ngay cả khi mã nguồn Lean là chính xác, tệp PDF đi kèm vẫn có thể chứa lỗi hoặc sai lệch so với chứng minh hình thức.
Tại sao điều này quan trọng
Đối với các kỹ sư phần mềm và trưởng nhóm kỹ thuật xây dựng với AI, phân tích này nhấn mạnh tầm quan trọng của các quy trình xác minh. Không đủ để chấp nhận đầu ra của AI chỉ vì nó chạy mà không có lỗi. Trong các lĩnh vực an toàn quan trọng, việc giả định tính chính xác dựa trên biên dịch đơn thuần sẽ gây ra rủi ro đáng kể. Sự khác biệt giữa một phát biểu biên dịch được và một chứng minh hợp lệ là tinh vi nhưng cực kỳ quan trọng, đòi hỏi các công cụ và quy trình vượt ra ngoài việc thực thi cơ bản.
Tình huống này cũng làm nổi bật những hạn chế hiện tại của việc hình thức hóa tự động. Mặc dù AI có thể tạo ra lượng lớn mã nguồn, sự liên kết ngữ nghĩa giữa ngôn ngữ con người không chính thức và logic hình thức vẫn là nút thắt cổ chai. Các đội ngũ áp dụng những công nghệ này phải đầu tư vào các khung thử nghiệm vững chắc, chẳng hạn như so sánh kernel và biên dịch trong sandbox, để đảm bảo rằng các trợ lý AI của họ không chỉ tạo ra các sản phẩm trông có vẻ hợp lý nhưng về cơ bản là sai sót.
Bạn có thể làm gì
- Luôn chạy mã nguồn Lean do AI tạo ra trong môi trường sandbox trước khi biên dịch để bảo vệ môi trường cục bộ khỏi hành vi độc hại hoặc thất thường tiềm tàng.
- Sử dụng
lake comparatorđể xác minh rằng định lý được chứng minh trong các tệp không đáng tin cậy khớp chính xác với phát biểu trong các tệp đáng tin cậy. - Chạy
lake comparator --paranoidđể kiểm tra các chứng minh chống lại nhiều kernel độc lập, giảm nguy cơ lỗi phần mềm không bị phát hiện. - Kiểm tra thủ công phát biểu định lý tiêu đề trong mã nguồn Lean để đảm bảo nó khớp với tuyên bố không chính thức trong bài báo liên quan.
- Hãy hoài nghi với các tuyên bố mà cơ sở mã nguồn Lean lớn hơn đáng kể so với các thư viện chuẩn, vì điều này có thể chỉ ra các định nghĩa tùy chỉnh chưa được xác minh.
- Nhận thức rằng một chứng minh Lean đúng không tự động xác thực tệp PDF đi kèm, vốn vẫn có thể chứa lỗi logic hoặc sai lệch.



