AWS Continuum đạt 89% trên bài kiểm tra bảo mật, nhưng bối cảnh rất quan trọng

Amazon Web Services (AWS) đã chính thức cung cấp công cụ bảo mật dựa trên AI mang tên Continuum cho người dùng phổ thông. Việc ra mắt này diễn ra sau khi một thông báo về kết quả kiểm nghiệm được đưa ra vào đầu tháng Mười, trong đó trợ lý AI này đạt tỷ lệ thành công 89% trên bộ thử nghiệm CyberGym-E2E, vượt xa các kỷ lục công khai trước đây.

Điều gì đã xảy ra

AWS đã chính thức phát hành Continuum để xử lý các lỗ hổng mã nguồn vào thứ Năm, định vị nó như một hệ thống phòng thủ tự động cho các kho lưu trữ phần mềm. Dịch vụ này được thiết kế để quét các cơ sở mã nguồn, xác định các điểm yếu bảo mật tiềm ẩn, xác minh chúng trong môi trường AWS cụ thể của người dùng, và sau đó tạo ra các yêu cầu kéo (pull request) kèm theo giải pháp khắc phục đề xuất. Quy trình làm việc từ đầu đến cuối này nhằm giảm bớt gánh nặng thủ công cho các kỹ sư bảo mật, những người thường dành nhiều giờ để phân loại và vá lỗi.

Chỉ số nổi bật nhất đến từ một đợt chạy benchmark được công bố vào ngày 5 tháng Mười, hơn hai tuần trước khi dịch vụ chính thức ra mắt. Trong đánh giá này, Continuum đã hoàn thành thành công 819 trong số 920 nhiệm vụ trên bộ tiêu chuẩn CyberGym-E2E, dẫn đến tỷ lệ thành công tổng thể là 89,0%. Con số này vượt qua mức cao nhất công khai trước đó là 65,9%, khiến Matt Garman, CEO của AWS, mô tả công nghệ này là thực sự mang tính chuyển đổi đối với các chuyên gia phòng thủ trên mạng xã hội. Thời điểm phát hành đã gây ra một số suy đoán trong cộng đồng, với nhà kinh tế học đám mây Corey Quinn đặt câu hỏi liệu thông báo có bị đẩy nhanh so với dự kiến tại hội nghị re:Invent hay không, mặc dù ông không đưa ra bằng chứng nào cho tuyên bố này.

Cách hoạt động

Để hiểu rõ con số 89%, cần xem xét cách bộ tiêu chuẩn CyberGym-E2E vận hành. Bài kiểm tra trao cho trợ lý AI 90 phút để tìm và sửa một lỗ hổng trong một trong 139 dự án mã nguồn mở. Quan trọng nhất, trợ lý AI không nhận được mô tả lỗi, bằng chứng khái niệm (proof of concept), nhật ký sự cố (crash log) hay bản vá hiện có. Nó phải tự mình xác định lỗi, kích hoạt nó để xác nhận sự tồn tại, và tạo ra một bản vá ngăn chặn sự cố mà không làm hỏng bất kỳ bài kiểm tra hiện có nào trong dự án. Tất cả các nhiệm vụ trong bộ tiêu chuẩn cụ thể này chỉ tập trung vào các lỗi an toàn bộ nhớ (memory-safety bugs) trong mã C hoặc C++, loại trừ các ngôn ngữ và loại lỗ hổng khác.

Quá trình chấm điểm diễn ra qua bốn giai đoạn tích lũy. Đầu tiên, trợ lý AI phải tìm và tái hiện lỗi. Continuum đã làm được điều này trong 92,5% các nhiệm vụ. Thứ hai, nó phải ngăn chặn sự cố, điều mà nó đã làm trong 89,6% trường hợp. Thứ ba, nó phải đảm bảo các bài kiểm tra hiện có của dự án vẫn tiếp tục chạy thành công sau khi vá, đạt tỷ lệ thành công 90% ở bước này. Giai đoạn cuối cùng kiểm tra xem bản vá có sửa đúng lỗ hổng lịch sử cụ thể mà bộ tiêu chuẩn chọn cho nhiệm vụ đó hay không. Vì trợ lý AI không biết lỗi lịch sử nào đang được nhắm mục tiêu, nó chỉ đơn giản là sửa bất kỳ lỗi thực tế nào mà nó tìm thấy. Trong 37,8% các nhiệm vụ, bản vá của Continuum tình cờ sửa đúng lỗi lịch sử cụ thể, so với mức cao nhất trước đó là 26,2%.

Chi tiết chính

• Continuum vượt qua 89% các nhiệm vụ CyberGym-E2E bằng cách tìm và vá một lỗ hổng thực tế mà không làm hỏng các bài kiểm tra.
• Bộ tiêu chuẩn chỉ tập trung vào các lỗi an toàn bộ nhớ trong các dự án C và C++, không bao gồm các ngôn ngữ hoặc lớp lỗ hổng khác.
• Các trợ lý AI có giới hạn thời gian 90 phút cho mỗi nhiệm vụ; AWS tuyên bố rằng việc kéo dài thời gian này nâng tỷ lệ thành công lên 93,7%.
• Chỉ 37,8% các bản vá của Continuum giải quyết đúng lỗi lịch sử cụ thể mà bộ tiêu chuẩn nhắm tới, vì trợ lý AI không được thông báo lỗi nào cần sửa.
• AWS đã tiến hành kiểm thử nội bộ, xác nhận rằng trợ lý AI tuân thủ các quy tắc bao gồm quyền truy cập internet hạn chế và không tra cứu các bản vá công khai.
• Các công cụ benchmark là công khai, nhưng cho đến nay, chỉ có AWS công bố kết quả cho Continuum trên bài kiểm tra cụ thể này.

Tại sao điều này quan trọng

Đối với các nhóm kỹ thuật, sự khác biệt giữa việc tìm thấy bất kỳ lỗi hợp lệ nào và sửa một lỗ hổng đã biết cụ thể là rất quan trọng. Khoảng cách giữa tỷ lệ thành công tổng thể 89% và tỷ lệ sửa lỗi lịch sử 37,8% nhấn mạnh rằng các trợ lý AI hiện tại giỏi hơn trong việc vệ sinh chung (general hygiene) so với việc khắc phục mục tiêu (targeted remediation) khi không biết vấn đề cụ thể là gì. Một kho lưu trữ có thể chứa nhiều lỗ hổng, và việc sửa một lỗ hổng khác với lỗ hổng được ghi lại trong lịch sử vẫn là công việc có giá trị, nhưng nó làm phức tạp việc so sánh trực tiếp với các công cụ khác hoặc các chỉ số hiệu suất của con người vốn có thể nhắm vào các CVE cụ thể.

Việc phát hành này báo hiệu sự chuyển dịch sang các hoạt động bảo mật tự chủ, nơi AI xử lý vòng lặp khám phá và vá lỗi ban đầu. Tuy nhiên, các nhà phát triển nên nhận thức rõ những hạn chế hiện tại. Sự tập trung hẹp của bộ tiêu chuẩn vào an toàn bộ nhớ C và C++ có nghĩa là các kết quả này không nhất thiết dự đoán hiệu suất trên các lỗ hổng ứng dụng web, lỗi cấu hình hoặc lỗi logic trong các ngôn ngữ cấp cao hơn. Các nhóm tích hợp những công cụ như vậy sẽ cần duy trì các quy trình rà soát nghiêm ngặt, vì AI đang tối ưu hóa để ngăn ngừa sự cố và ổn định bài kiểm tra thay vì tư thế bảo mật toàn diện.

Bạn có thể làm gì

• Đánh giá xem các mối lo ngại bảo mật chính của bạn có liên quan đến các vấn đề an toàn bộ nhớ trong C hoặc C++ hay không trước khi ưu tiên công cụ này dựa trên benchmark.
• Triển khai các quy trình rà soát có con người tham gia (human-in-the-loop) nghiêm ngặt cho tất cả các pull request do AI tạo, tập trung vào việc liệu bản vá có giải quyết nguyên nhân gốc rễ hay chỉ là triệu chứng.
• Thử nghiệm Continuum hoặc các trợ lý tương tự trên cơ sở mã nguồn riêng của bạn để đo lường hiệu suất trên stack công nghệ cụ thể của bạn, thay vì chỉ dựa vào các benchmark công khai.
• Theo dõi các chỉ số thời gian sửa lỗi (time-to-fix) trong pipeline CI/CD của bạn để xem liệu việc vá lỗi hỗ trợ bởi AI có giảm thời gian trung bình để giải quyết mà không làm tăng tỷ lệ hồi quy (regression) hay không.
• Cập nhật các đánh giá độc lập về CyberGym-E2E khi các nhà cung cấp hoặc nhóm nghiên cứu khác công bố kết quả của họ để so sánh.
• Làm rõ với đội ngũ bảo mật của bạn xem mục tiêu là giảm thiểu lỗ hổng rộng rãi hay tuân thủ cụ thể các CVE lịch sử, vì công cụ này xuất sắc ở khía cạnh đầu tiên.