Thay thế trọng tài tạo sinh bằng mô hình ra quyết định để phòng thủ tấn công chèn prompt

StackOne đã cập nhật hệ thống phòng vệ Defender chống lại tấn công chèn prompt (prompt injection) bằng cách thay thế mô hình ngôn ngữ lớn (LLM) tạo sinh bằng một mô hình ra quyết định chuyên dụng. Thay đổi này, được chi tiết trong một bài viết kỹ thuật đăng ngày 15 tháng 10 năm 2026, chuyển đổi tầng cuối cùng của hệ thống phòng thủ từ một "trọng tài" tạo văn bản sang một bộ phân loại xác suất hoạt động hoàn toàn trên hạ tầng cục bộ.

Chuyện gì đã xảy ra

Defender bảo vệ các tác nhân gọi công cụ (tool-calling agents) bằng cách kiểm tra mọi kết quả trả về từ các công cụ bên ngoài. Hệ thống sử dụng phương pháp tiếp cận ba tầng để cân bằng giữa tốc độ và độ chính xác. Tầng 1 thực hiện khớp mẫu (pattern matching) nhanh chóng trong khoảng một mili giây. Tầng 2 sử dụng một bộ phân loại dung lượng 22MB chạy trên CPU, chấm điểm các chuỗi ký tự trong vài chục mili giây. Trước đây, Tầng 3 dựa vào một LLM tạo sinh nhỏ để xem xét các trường hợp mơ hồ được leo thang từ Tầng 2. Mặc dù hiệu quả trong việc phát hiện tấn công, nhưng trọng tài tạo sinh này tốn kém và chậm chạp, đòi hỏi tài nguyên GPU và hàng trăm mili giây cho mỗi lần gọi. Do những hạn chế này, nó chỉ có thể xử lý một tập con các kết quả.

Đội ngũ kỹ thuật tìm kiếm một giải pháp thay thế rẻ hơn và nhanh hơn cho Tầng 3, có khả năng đánh giá mọi kết quả từ công cụ song song với Tầng 2 thay vì chỉ những kết quả không chắc chắn. Họ đã thay thế trọng tài tạo sinh bằng một mô hình ra quyết định "System One". Loại mô hình này, gần đây được phổ biến bởi TypeSafe và Jev, đưa ra quyết định mà không tạo ra văn bản. Cách triển khai mới sử dụng một mô hình ra quyết định xây dựng trên nền tảng ModernBERT, vừa vặn trên một GPU nhỏ duy nhất và có thể được lưu trữ cục bộ. Sự chuyển đổi này cho phép hệ thống duy trì quyền riêng tư dữ liệu đồng thời giảm độ trễ và chi phí.

Cơ chế hoạt động

Các mô hình System One được đặt tên theo khái niệm tư duy nhanh, trực giác của Daniel Kahneman. Khác với các mô hình tạo sinh sản xuất văn bản mở, các mô hình này chấp nhận một trạng thái, chẳng hạn như văn bản hoặc JSON, và một tập hợp các câu hỏi có kiểu dữ liệu xác định (typed questions). Đầu ra bị giới hạn chặt chẽ vào các lựa chọn được định nghĩa trước: lựa chọn nhiều đáp án, điểm số dạng số, hoặc xác suất nhị phân được gọi là "nouls". Vì không gian đầu ra là đóng, mô hình không thể bị lừa để nói lan man, từ chối hoặc tạo ra văn bản sai định dạng thông qua tấn công chèn prompt. Nó chỉ có thể gán xác suất cho các lựa chọn do nhà phát triển cung cấp.

Kiến trúc này mang lại hai lợi ích chính cho các hệ thống phòng vệ bảo mật. Thứ nhất, không gian đầu ra đóng ngăn chặn mô hình bị chiếm quyền điều khiển để thực hiện các hành vi bất ngờ. Thứ hai, đầu ra là xác suất thô chứ không phải từ ngữ được tạo ra. Các trọng tài tạo sinh ngầm sử dụng ngưỡng 0.5 khi chọn giữa các từ như "block" (chặn) hoặc "allow" (cho phép), nhưng ngưỡng này thay đổi khó lường trong quá trình huấn luyện lại. Một mô hình ra quyết định cung cấp các xác suất rõ ràng, cho phép các kỹ sư thiết lập ngưỡng tùy chỉnh dựa trên tỷ lệ dương tính giả mong muốn cho mỗi lần triển khai. StackOne đã thử nghiệm các API được lưu trữ như Jev nhưng từ chối chúng do lo ngại về quyền riêng tư dữ liệu, vì kết quả từ công cụ thường chứa hồ sơ nhạy cảm của nhân viên. Thay vào đó, họ tinh chỉnh một mô hình mã nguồn mở (open-weights) trên dữ liệu của riêng mình.

Chi tiết quan trọng

• Khớp mẫu ở Tầng 1 hoàn tất trong khoảng một mili giây.
• Tầng 2 sử dụng một bộ phân loại 22MB chấm điểm các chuỗi ký tự trên CPU trong vài chục mili giây.
• Mô hình Tầng 3 mới dựa trên nền tảng ModernBERT và vừa vặn trên một GPU nhỏ duy nhất.
• Hiệu suất zero-shot (không cần huấn luyện thêm) của mô hình ra quyết định chưa được huấn luyện đạt độ chính xác 54,5% trên dữ liệu kiểm thử giữ lại.
• Mô hình trả lời các câu hỏi cụ thể về hướng dẫn, yêu cầu rò rỉ dữ liệu và tuyên bố danh tính.
• Thử nghiệm API được lưu trữ với Jev có chi phí $0.000025 mỗi lần gọi nhưng không tổng quát hóa tốt đối với payload của công cụ.

Tại sao điều này quan trọng

Đối với các kỹ sư xây dựng hệ thống tác nhân (agentic systems), chi phí và độ trễ của các kiểm tra bảo mật là những nút thắt cổ chai đáng kể. Các trọng tài tạo sinh, mặc dù linh hoạt, nhưng gây ra độ trễ biến thiên và chi phí tính toán cao vì chúng yêu cầu GPU và phân tích các khối văn bản lớn. Bằng cách chuyển sang mô hình ra quyết định, StackOne chứng minh rằng các nhiệm vụ phân loại rủi ro cao không cần đến sự tạo sinh mở. Cách tiếp cận này cho phép kiểm soát nghiêm ngặt hơn đối với hành vi của mô hình và các đặc tính hiệu suất dự đoán được hơn. Nó cũng mở ra khả năng quét từng kết quả từ công cụ, thay vì chỉ một tập con được lấy mẫu hoặc leo thang, cải thiện tư thế bảo mật tổng thể mà không làm tăng chi phí tương ứng.

Quyền riêng tư dữ liệu vẫn là một ràng buộc quan trọng đối với các ứng dụng AI doanh nghiệp. Nhiều tổ chức không thể gửi dữ liệu nội bộ, chẳng hạn như ghi chú CRM hoặc email, tới các API của bên thứ ba để phân loại. Việc chuyển sang các mô hình ra quyết định cục bộ, mã nguồn mở giải quyết vấn đề này bằng cách giữ toàn bộ quá trình xử lý trong hạ tầng hiện có. Mẫu hình này gợi ý một sự dịch chuyển rộng hơn trong công cụ bảo mật AI: rời xa việc phụ thuộc vào các mô hình tiên phong (frontier models) cho mọi nhiệm vụ và hướng tới các mô hình nhỏ hơn, chuyên biệt được tinh chỉnh cho các ranh giới quyết định cụ thể. Điều này giảm sự phụ thuộc vào các nhà cung cấp bên ngoài và hạ thấp rủi ro vận hành.

Bạn có thể làm gì

• Kiểm toán các biện pháp phòng thủ chèn prompt hiện tại của bạn để xác định nơi các mô hình tạo sinh đang được sử dụng cho các nhiệm vụ phân loại đơn giản.
• Đánh giá các mô hình System One hoặc mô hình ra quyết định cho bất kỳ phán quyết bảo mật nhị phân hay đa lớp nào trong pipeline của bạn.
• Xác định các câu hỏi cụ thể, có kiểu dữ liệu rõ ràng cho các kiểm tra bảo mật thay vì đặt câu hỏi mở như "điều này có an toàn không?"
• Thử nghiệm các mô hình ra quyết định mã nguồn mở trên phần cứng cục bộ để đảm bảo chúng đáp ứng yêu cầu về độ trễ và quyền riêng tư của bạn.
• Thiết lập các ngưỡng xác suất rõ ràng cho việc chặn hành động dựa trên tỷ lệ dương tính giả chấp nhận được của bạn.
• Tinh chỉnh các mô hình trên dữ liệu lịch sử của riêng bạn để cải thiện độ chính xác vượt ra ngoài khả năng zero-shot.