Các phòng thí nghiệm AI lớn áp dụng tiêu chuẩn IETF chung để từ chối thu thập dữ liệu

OpenAI, Google, Microsoft và Anthropic đã đồng ý hỗ trợ một tiêu chuẩn mới của Lực lượng Đặc nhiệm Kỹ thuật Internet (IETF), cho phép các nhà xuất bản trang web từ chối việc thu thập dữ liệu bởi AI. Được công bố vào ngày 30 tháng 10 năm 2026, sáng kiến này giới thiệu một token chính sách chung trong khuôn khổ hiện có của robots.txt, giúp chủ sở hữu trang web thiết lập tùy chọn về huấn luyện chỉ một lần thay vì phải đàm phán riêng lẻ với từng nhà cung cấp AI.

Điều gì đã xảy ra

Cốt lõi của sự phát triển này là một tín hiệu thống nhất do Kevin Kelley, trưởng nhóm kỹ thuật phụ trách tiêu chuẩn tại Anthropic, đề xuất. Hiện tại, các nhà xuất bản muốn ngăn chặn nội dung của mình được sử dụng trong quá trình huấn luyện mô hình AI phải cấu hình các thiết lập riêng biệt cho từng công ty AI lớn. Cách tiếp cận phân mảnh này tạo ra gánh nặng quản lý đáng kể và thường dẫn đến việc thực thi không nhất quán. Tiêu chuẩn mới nhằm mục đích hợp nhất các tùy chọn này thành một chỉ thị duy nhất, dễ đọc bằng máy mà tất cả các trình thu thập dữ liệu tham gia đều tôn trọng.

Theo thỏa thuận này, nếu một trình thu thập dữ liệu AI gặp token chính sách chung trong tệp robots.txt của một trang web, nó sẽ hạn chế quyền truy cập vào trang web đó cho mục đích huấn luyện. Anthropic đã chấp nhận tín hiệu này. OpenAI dự định triển khai trong những tháng tới, trong khi Google và Microsoft lên kế hoạch hỗ trợ vào năm sau. Meta cũng bày tỏ sự ủng hộ đối với khái niệm này; Andy Stone, người đứng đầu bộ phận truyền thông, nhấn mạnh tầm quan trọng của một tín hiệu chung, mặc dù công ty chưa xác nhận liệu họ có kỹ thuật tuân thủ việc từ chối hay không.

Động thái này diễn ra khi các nhà xuất bản vẫn đang vật lộn với khối lượng lưu lượng tự động do các bot AI tạo ra. Các nỗ lực trước đây để quản lý dòng chảy này bao gồm tiêu chuẩn Really Simple Licensing (RSL), cho phép nhà xuất bản tính phí truy cập của trình thu thập dữ liệu, và các biện pháp chặn ở tầng cơ sở hạ tầng như những giải pháp do Cloudflare cung cấp. Đề xuất mới của IETF khác biệt ở chỗ tập trung vào một cơ chế tuân thủ tự nguyện, chuẩn hóa giữa các nhà phát triển AI lớn nhất, thay vì các cổng thanh toán hoặc các lệnh chặn mạng cứng nhắc.

Cách thức hoạt động

Công nghệ này tận dụng tệp robots.txt, một tệp văn bản lâu đời được đặt trong thư mục gốc của các trang web để giao tiếp với các trình thu thập dữ liệu web. Theo truyền thống, tệp này cho biết các công cụ tìm kiếm những trang nào họ có thể lập chỉ mục cho kết quả tìm kiếm. Tiêu chuẩn mới mở rộng giao thức này bằng cách giới thiệu một token chính sách cụ thể báo hiệu các tùy chọn liên quan đến huấn luyện AI và grounding (neo nguồn).

Khi trình thu thập dữ liệu của một công ty AI truy cập một trang web, trước tiên nó kiểm tra tệp robots.txt. Nếu tìm thấy token chính sách mới chỉ báo việc từ chối, trình thu thập dữ liệu được lập trình để bỏ qua nội dung của trang web cho các mục đích đã nêu. Microsoft cho biết họ sẽ cung cấp các điều khiển chi tiết, cho phép nhà xuất bản phân biệt giữa việc từ chối huấn luyện AI chung và từ chối grounding AI. Grounding là quy trình mà các mô hình tham chiếu các nguồn đã được xác minh để giảm thiểu ảo giác trong quá trình tạo sinh. Quan trọng hơn, Microsoft làm rõ rằng việc từ chối huấn luyện hoặc grounding AI sẽ không ảnh hưởng đến khả năng hiển thị của trang web trong kết quả tìm kiếm truyền thống của Bing.

Google đã thực hiện các phân biệt tương tự trong quá khứ, cho phép các trang web kiểm soát sự hiện diện của họ trong các tính năng tìm kiếm do AI tạo ra mà không bị phạt về thứ hạng tìm kiếm tự nhiên. Tiêu chuẩn mới của IETF tìm cách làm cho mức độ kiểm soát này có khả năng tương tác giữa các nhà cung cấp khác nhau, đảm bảo rằng một cập nhật cấu hình duy nhất sẽ lan tỏa đến tất cả các trình thu thập dữ liệu tuân thủ.

Chi tiết chính

• Người đề xuất: Kevin Kelley, trưởng nhóm kỹ thuật phụ trách tiêu chuẩn tại Anthropic, đã nộp đề xuất cho IETF.
• Cơ chế: Một token chính sách chung được thêm vào tệp robots.txt của trang web.
• Lộ trình áp dụng: Anthropic đã chấp nhận tín hiệu; OpenAI sẽ triển khai trong những tháng tới; Google và Microsoft dự kiến hỗ trợ vào năm sau.
• Quan điểm của Meta: Andy Stone bày tỏ sự ủng hộ đối với tiêu chuẩn nhưng không xác nhận liệu Meta có kỹ thuật tuân thủ việc từ chối hay không.
• Mức độ chi tiết: Microsoft sẽ cho phép nhà xuất bản từ chối riêng biệt việc huấn luyện AI và grounding AI.
• Tác động đến tìm kiếm: Việc từ chối thu thập dữ liệu AI sẽ không loại bỏ các trang web khỏi kết quả công cụ tìm kiếm truyền thống như Bing hoặc Google Search.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm và nhà sáng lập kỹ thuật xây dựng sản phẩm dựa trên dữ liệu web, việc chuẩn hóa này đơn giản hóa bối cảnh tuân thủ. Thay vì duy trì các danh sách cho phép hoặc chặn phức tạp, đặc thù theo từng nhà cung cấp, các nhóm kỹ thuật có thể dựa vào một tín hiệu duy nhất, được ngành công nghiệp hậu thuẫn để xác định quyền sử dụng dữ liệu. Điều này giảm thiểu rủi ro vi phạm bản quyền vô tình và hạ thấp chi phí vận hành trong việc quản lý các đường ống nạp dữ liệu.

Tuy nhiên, việc triển khai theo giai đoạn có nghĩa là sự thống nhất ngay lập tức không được đảm bảo. Các nhà phát triển xây dựng hệ thống RAG (Retrieval-Augmented Generation - Tạo sinh tăng cường truy xuất) hoặc huấn luyện các mô hình nền tảng phải nhận thức rằng không phải tất cả các ông lớn đều thực thi token này đồng thời. Cho đến khi Google và Microsoft hoàn toàn triển khai tiêu chuẩn vào năm sau, các nhà xuất bản có thể vẫn cần duy trì các cấu hình cũ cho những trình thu thập dữ liệu cụ thể đó. Giai đoạn chuyển tiếp này đòi hỏi giám sát cẩn thận hành vi của trình thu thập dữ liệu và tuân thủ các chính sách cá nhân hiện có cho đến khi hệ sinh thái hội tụ.

Hơn nữa, sự phân biệt giữa huấn luyện và grounding là rất quan trọng đối với kiến trúc ứng dụng. Nếu một nhà xuất bản từ chối grounding nhưng cho phép huấn luyện, nội dung của họ có thể ảnh hưởng đến trọng số của mô hình nhưng không được trích dẫn như một nguồn trong các phản hồi thời gian thực. Các kỹ sư phải thiết kế logic lọc dữ liệu của họ để tôn trọng những tùy chọn tinh tế này, đảm bảo rằng ứng dụng của họ không vô tình vi phạm các ràng buộc cụ thể của nhà xuất bản về cách dữ liệu của họ được sử dụng.

Bạn có thể làm gì

• Kiểm toán các đường ống nạp dữ liệu hiện tại của bạn để xác định những trình thu thập dữ liệu AI nào đang truy cập vào tên miền của bạn.
• Cập nhật các tệp robots.txt của bạn để bao gồm token chính sách mới nếu bạn muốn từ chối huấn luyện AI, lưu ý rằng sự hỗ trợ đầy đủ của ngành công nghiệp chưa phải là phổ quát.
• Theo dõi lộ trình triển khai của Google và Microsoft, vì sự hỗ trợ của họ được lên kế hoạch cho năm sau, đòi hỏi phải tiếp tục sử dụng các điều khiển cũ cụ thể của họ trong thời gian chờ đợi.
• Xem xét lại logic nguồn của hệ thống RAG của bạn để đảm bảo nó tôn trọng các lựa chọn từ chối chi tiết cho grounding AI, đặc biệt nếu bạn sử dụng các mô hình dựa trên Microsoft.
• Cập nhật thông tin về quyết định cuối cùng của Meta regarding việc tuân thủ tiêu chuẩn, vì sự tham gia của họ vẫn chưa được xác nhận bất chấp sự ủng hộ công khai.
• Tài liệu hóa chiến lược tuân thủ của bạn nội bộ để đảm bảo rằng các thực tiễn mua sắm dữ liệu phù hợp với tiêu chuẩn IETF đang phát triển và các chính sách của từng nhà cung cấp.