Các mô hình Granite 4.1 áp dụng LLMON để chặn tấn công chèn lệnh (prompt injection)
Hugging Face ra mắt các mô hình thử nghiệm Granite 4.1 3B và 8B, được huấn luyện trên LLMON, một ngôn ngữ đánh dấu giúp tách biệt chỉ thị khỏi dữ liệu nhằm ngăn chặn tấn công chèn lệnh gián tiếp.
Được dịch tự động từ bản gốc tiếng Anh.
Hugging Face đã phát hành hai mô hình thử nghiệm phiên bản xem trước: granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview, được thiết kế để xử lý ngữ cảnh có cấu trúc một cách mạnh mẽ hơn so với các mô hình ngôn ngữ lớn truyền thống. Những mô hình này, dựa trên nền tảng Granite 4.1, được huấn luyện để tiêu thụ và tạo ra LLMON (LLM Object Notation), một ngôn ngữ đánh dấu mới phân tách rõ ràng giữa chỉ thị và tải trọng dữ liệu. Bản phát hành này nhằm giải quyết tính dễ vỡ của các mô hình nhỏ hơn và giảm thiểu rủi ro bảo mật như tấn công chèn lệnh gián tiếp bằng cách thực thi các ranh giới ngữ nghĩa rõ ràng trong cửa sổ ngữ cảnh của mô hình.
Chuyện gì đã xảy ra
Vấn đề cốt lõi mà bản phát hành này giải quyết là sự mơ hồ về cấu trúc vốn có trong cách các LLM xử lý ngữ cảnh. Các mô hình tiêu chuẩn nhận vào một hỗn hợp gồm lời nhắc hệ thống, lịch sử cuộc trò chuyện, tài liệu truy xuất và đầu ra từ công cụ, thường được mã hóa dưới các định dạng như JSON – vốn được thiết kế cho trình phân tích cú pháp chứ không phải cho các mô hình ngôn ngữ nhân quả. Đối với một transformer, các token đại diện cho cấu trúc JSON về mặt thống kê khá giống với các token nội dung, khiến mô hình khó phân biệt giữa một lệnh và dữ liệu, đặc biệt là trong các ngữ cảnh dài. Sự mơ hồ này dẫn đến những lỗi không mong muốn và làm cho các mô hình dễ bị tổn thương trước các cuộc tấn công nơi các chỉ thị độc hại được ẩn trong dữ liệu do người dùng cung cấp.
Để giải quyết vấn đề này, các nhà phát triển đã tạo ra LLMON, một ngôn ngữ đánh dấu dành riêng cho LLM, sử dụng các ký tự phân cách đặc biệt được đặt trước (reserved special-token delimiters) để đánh dấu các thành phần ngữ nghĩa mạch lạc. Khác với JSON, nơi cấu trúc được suy luận từ các ký tự như dấu ngoặc nhọn và dấu ngoặc kép, LLMON sử dụng các thẻ rõ ràng được bao bọc bởi các token duy nhất không xuất hiện trong văn bản thông thường. Điều này cho phép mô hình xác định rõ ràng phần nào của ngữ cảnh là chỉ thị, phần nào là dữ liệu và phần nào là yêu cầu. Các mô hình thử nghiệm Granite 4.1 mới là những mô hình đầu tiên được huấn luyện cụ thể để hiểu và tạo ra định dạng này, học cách liên kết các chỉ thị với các tải trọng dữ liệu cụ thể thông qua ID duy nhất, tương tự như các lệnh gọi hàm trong lập trình.
Bản phát hành không chỉ bao gồm các mô hình mà còn có một kho lưu trữ GitHub kèm theo bộ công cụ để làm việc với LLMON, các công cụ chuyển đổi để dịch JSON sang LLMON mà không mất mát thông tin, và các quy trình làm việc mẫu. Hugging Face nhấn mạnh rằng đây là các bản xem trước thử nghiệm dành cho mục đích khám phá và đánh giá, chứ không phải để triển khai sản xuất. Họ mời cộng đồng thử nghiệm các mô hình, báo cáo kết quả và khám phá các trường hợp sử dụng thông qua GitHub Discussions, lưu ý rằng mặc dù các mô hình cho thấy khả năng kháng cự mạnh mẽ trước các cuộc tấn công chèn lệnh gián tiếp tĩnh, nhưng công việc đối phó với các cuộc tấn công thích ứng vẫn đang được tiến hành.
Cách thức hoạt động
LLMON hoạt động bằng cách làm phong phú thêm các mẫu chat tiêu chuẩn thay vì thay thế chúng. Khi một nhà phát triển xây dựng danh sách tin nhắn, họ có thể đặt tên cho các phần của một lượt hội thoại là instruction (chỉ thị), data (dữ liệu) hoặc requirement (yêu cầu), và đánh dấu chúng là executable (có thể thực thi) hoặc non-executable (không thể thực thi). Mẫu chat sau đó hiển thị các thành phần này thành các khối LLMON sử dụng các token đơn lẻ được đặt trước cho ký tự phân cách và ID khối gồm hai ký tự. Một khối thực thi ở cuối đầu ra được hiển thị sẽ nêu rõ chỉ thị nào cần chạy, trên dữ liệu nào, tuân theo yêu cầu nào và vị trí đặt đầu ra. Điều này đảm bảo mô hình chỉ tuân theo các chỉ thị được liên kết rõ ràng với dữ liệu liên quan, bỏ qua các đoạn không liên quan hoặc các chỉ thị mồi được đưa vào trong ngữ cảnh.
Quá trình huấn luyện bao gồm việc tái tuần tự hóa một kho ngữ liệu tinh chỉnh chỉ thị thông thường sang định dạng LLMON, đảm bảo mọi thành phần lời nhắc trở thành một khối có thể địa chỉ hóa. Các mô hình còn được tăng cường thêm với các chỉ thị mồi và khối dữ liệu cố tình để không liên kết, dạy cho mô hình cách bỏ qua bất kỳ nội dung nào không được tham chiếu trong khối thực thi. Hành vi này được củng cố thông qua năm giai đoạn học tăng cường GRPO và một giai đoạn DPO cuối cùng sử dụng các cặp ưu tiên được xây dựng từ các nỗ lực tấn công chèn lệnh. Kết quả là, mô hình học được một quy tắc đặc quyền, trong đó chỉ những chỉ thị được tiếp cận thông qua khối thực thi mới có thẩm quyền, trong khi mọi thứ khác đều được coi là tài liệu chỉ đọc.
Chi tiết chính
- Các mô hình được phát hành: granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview, được phát triển từ các điểm kiểm tra cơ sở Granite 4.1.
- Cải thiện bảo mật: Trên benchmark OPI, các mô hình LLMON tránh được 47% số cuộc tấn công nhiều hơn so với mô hình frontier tốt nhất được thử nghiệm và 95% nhiều hơn so với mô hình mã nguồn mở tốt nhất.
- Hiệu suất tương đương: Các mô hình LLMON duy trì khả năng chung ngang ngửa với các mô hình Granite 4.1 Instruct tiêu chuẩn trên các hạng mục benchmark thông thường.
- Công cụ chuyển đổi: Một thư viện được cung cấp để chuyển đổi các cấu trúc JSON hiện có sang LLMON mà không mất mát thông tin, bảo toàn các cấu trúc lồng nhau dưới dạng các khối có kiểu và có thể địa chỉ hóa.
- Khả năng mở rộng: Nhà phát triển có thể xác định tên thẻ và cấu trúc tùy chỉnh cho lĩnh vực của mình và tinh chỉnh một adapter LoRA trên các mô hình LLMON, như đã minh chứng với benchmark ScienceWorld.
- Trực quan hóa: Công cụ LLMON Attention Visualization có sẵn trên Hugging Face Spaces để quan sát cách mô hình xử lý các khối có cấu trúc trong các lớp attention của nó.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng tác nhân AI và hệ thống RAG, việc không thể tách biệt đáng tin cậy giữa chỉ thị và dữ liệu là một nguồn gốc chính gây ra sự bất ổn và rủi ro bảo mật. Tấn công chèn lệnh gián tiếp, nơi các lệnh độc hại được nhúng trong tài liệu truy xuất hoặc đầu vào của người dùng, có thể chiếm quyền điều khiển hành vi của mô hình với xác suất cao trong các kiến trúc tiêu chuẩn. Bằng cách áp dụng một định dạng thực thi sự tách biệt nghiêm ngặt ở cấp độ token, LLMON cung cấp một phòng thủ cấu trúc giúp giảm tỷ lệ thành công của tấn công xuống gần bằng không trên các benchmark tĩnh. Điều này cho phép các nhà phát triển xây dựng các ứng dụng mạnh mẽ hơn mà không cần phụ thuộc hoàn toàn vào các rào chắn heuristic hoặc các mẹo kỹ thuật prompt phức tạp thường thất bại dưới áp lực.
Hơn nữa, việc từ bỏ JSON cho biểu diễn ngữ cảnh nội bộ giải quyết sự không khớp cơ bản giữa các định dạng dữ liệu hướng tới trình phân tích cú pháp và các mô hình ngôn ngữ xác suất. Việc JSON dựa vào đếm dấu ngoặc và thoát ký tự là một điểm yếu đã biết đối với các transformer, đặc biệt là trong các ngữ cảnh dài. Việc LLMON sử dụng các token được đặt trước cho cấu trúc có nghĩa là mô hình không cần suy luận phân cấp một cách thống kê, giảm tải nhận thức và cải thiện độ chính xác khi tuân theo các chỉ thị phức tạp, đa phần. Sự thay đổi này có thể dẫn đến việc gọi công cụ đáng tin cậy hơn và tuân thủ tốt hơn các ràng buộc trong các mô hình nhỏ hơn, hiệu quả về chi phí.
Bạn có thể làm gì
- Tải xuống và thử nghiệm các mô hình granite-4.1-3b-LLMON-preview và granite-4.1-8b-LLMON-preview từ Hugging Face cho mục đích đánh giá phi sản xuất.
- Sử dụng thư viện LLMON-converters được cung cấp để dịch các pipeline dựa trên JSON hiện có của bạn sang định dạng LLMON mà không mất thông tin cấu trúc.
- Thử nghiệm với framework Mellea, vốn đã bật hỗ trợ LLMON gốc, để tự động chuyển đổi các lệnh gọi LLM của bạn sang LLMON và quan sát các tác động.
- Khám phá kho lưu trữ GitHub để truy cập các notebook ví dụ, bao gồm một notebook minh họa việc tinh chỉnh adapter LoRA cho các từ vựng tùy chỉnh sử dụng benchmark ScienceWorld.
- Trực quan hóa các cơ chế attention của mô hình bằng demo LLMON Attention Visualization trên Hugging Face Spaces để hiểu cách nó xử lý các khối có cấu trúc.
- Tham gia GitHub Discussions để chia sẻ kết quả, báo cáo lỗi và đề xuất các trường hợp sử dụng nhằm giúp định hình sự phát triển tương lai của LLMON.



