主要AIラボが、スクレイピング拒否のためのIETF共通標準を採用

OpenAI、Google、Microsoft、Anthropicは、ウェブサイトのパブリッシャーがAIデータスクレイピングからオプトアウトできる新しいInternet Engineering Task Force (IETF) 標準をサポートすることに合意しました。2026年10月30日に発表されたこのイニシアチブは、既存のrobots.txtフレームワーク内で共有ポリシートークンを導入し、サイトオーナーが各AIプロバイダーと個別に交渉するのではなく、一度設定するだけで学習に関する好みを指定できるようにします。

何が起きたか

この開発の核心は、Anthropicの標準化技術リードであるKevin Kelley氏が提案した統一シグナルです。現在、コンテンツがAIモデルの学習に使用されるのを防ぎたいパブリッシャーは、すべての主要なAI企業に対して個別の設定を行う必要があります。この断片化したアプローチは多大な管理オーバーヘッドを生み出し、しばしば一貫性のない強制執行につながります。新しい標準は、これらの好みを単一の機械可読ディレクティブに統合し、参加しているすべてのクローラーがこれを尊重することを目指しています。

この合意に基づき、AIクローラーがサイトのrobots.txtファイルで共有ポリシートークンを検出した場合、そのサイトへのアクセスを学習目的のために制限します。Anthropicはすでにこのシグナルを採用しています。OpenAIは今後数ヶ月以内に実装する予定であり、GoogleとMicrosoftは来年サポートを提供する計画です。Metaもこの概念への支持を表明しており、広報責任者のAndy Stone氏は共通シグナルの重要性を指摘しましたが、同社が技術的にオプトアウトを尊重するかはまだ確認されていません。

この動きは、パブリッシャーがAIボットによって生成される自動化トラフィックの量に対処し続けている中で現れました。この流入を管理するための過去の試みには、パブリッシャーがクローラーアクセスに対して課金できるReally Simple Licensing (RSL) 標準や、Cloudflareが提供するインフラレベルのブロックなどが含まれます。新しいIETF提案は、支払いゲートウェイやハードネットワークブロックではなく、最大のAI開発者間での標準化された自発的なコンプライアンスメカニズムに焦点を当てる点で異なります。

仕組み

この技術は、ウェブクローラーとの通信のためにウェブサイトのルートディレクトリに配置される長年のテキストファイルであるrobots.txtを利用します。従来、このファイルは検索エンジンに対して、検索結果用にどのページをインデックスできるかを指示していました。新しい標準は、AI学習およびグラウンディングに関する好みを示す特定のポリシートークンを導入することで、このプロトコルを拡張します。

AI企業のクローラーがウェブサイトを訪問すると、まずrobots.txtファイルを確認します。オプトアウトを示す新しいポリシートークンが見つかった場合、クローラーは指定された目的のためにそのサイトのコンテンツをスキップするようにプログラムされています。Microsoftは、パブリッシャーが一般的なAI学習からのオプトアウトとAIグラウンディングからのオプトアウトを区別できるように、細かなコントロールを提供することを示唆しています。グラウンディングとは、モデルが生成中にハルシネーション（幻覚）を減らすために検証済みのソースを参照するプロセスを指します。重要なことに、Microsoftは、AI学習またはグラウンディングからのオプトアウトがBingの従来の検索結果におけるサイトの可視性には影響しないことを明確にしました。

Googleも過去に同様の区別を実装しており、サイトがオーガニック検索ランキングにペナルティを受けることなく、AI生成検索機能におけるプレゼンスを制御できるようにしています。新しいIETF標準は、このレベルのコントロールを異なるプロバイダー間で相互運用可能にし、単一の構成更新がすべての準拠クローラーに伝播されることを保証することを目指しています。

主要な詳細

• 提案者: Anthropicの標準化技術リードであるKevin Kelley氏が、IETFに提案を提出しました。
• メカニズム: ウェブサイトのrobots.txtファイルに追加される共有ポリシートークン。
• 採用タイムライン: Anthropicはすでにシグナルを採用済み; OpenAIは今後数ヶ月以内に実装予定; GoogleとMicrosoftは来年サポートを計画。
• Metaの立場: Andy Stone氏は標準への支持を表明しましたが、Metaが技術的にオプトアウトを尊重するかは確認していません。
• 粒度: Microsoftは、パブリッシャーがAI学習とAIグラウンディングを個別にオプトアウトできるようにします。
• 検索への影響: AIスクレイピングからのオプトアウトは、BingやGoogle Searchなどの従来の検索エンジン結果からウェブサイトを削除しません。

なぜ重要か

Webデータに依存する製品を構築するソフトウェアエンジニアやテクニカルファウンダーにとって、この標準化はコンプライアンス環境を簡素化します。複雑なプロバイダー固有のアローリストやブロックリストを維持する代わりに、エンジニアリングチームはデータ使用権を決定するために、業界がバックアップする単一のシグナルに頼ることができます。これは偶発的な著作権侵害のリスクを低減し、データ取り込みパイプラインの管理に伴う運用コストを下げるのに役立ちます。

しかし、段階的なロールアウトにより、即時の均一性は保証されません。RAG (Retrieval-Augmented Generation) システムを構築したり、基盤モデルを訓練したりする開発者は、すべての主要プレイヤーが同時にトークンを強制しているわけではないことに注意する必要があります。GoogleとMicrosoftが来年完全に標準を実装するまで、パブリッシャーはそれらの特定のクローラー向けにレガシー構成を維持する必要があるかもしれません。この移行期間では、エコシステムが収束するまで、クローラーの動作と既存の個別ポリシーへの準拠を慎重に監視する必要があります。

さらに、学習とグラウンディングの区別はアプリケーションアーキテクチャにとって重要です。パブリッシャーがグラウンディングからはオプトアウトしたが学習は許可した場合、そのコンテンツはモデルの重みに影響を与える可能性がありますが、リアルタイムの応答でソースとして引用されることはありません。エンジニアは、データフィルタリングロジックを設計してこれらの微妙な好みを尊重し、アプリケーションがパブリッシャーのデータ利用方法に関する具体的な制約を誤って違反しないようにする必要があります。

あなたができること

• 現在のドメインにアクセスしているAIクローラーを特定するために、現在のデータ取り込みパイプラインを監査してください。
• AI学習からオプトアウトしたい場合は、完全な業界サポートがまだ普遍的ではないことを念頭に置き、robots.txtファイルを新しいポリシートークンを含むように更新してください。
• GoogleとMicrosoftの実装タイムラインを監視してください。彼らのサポートは来年に予定されており、その間は彼ら固有のレガシーコントロールを引き続き使用する必要があります。
• RAGシステムのソーシングロジックを確認し、特にMicrosoftベースのモデルを使用している場合に、AIグラウンディングに対する細かなオプトアウトを尊重していることを確認してください。
• Metaが標準を尊重するかどうかの最終決定について最新情報を入手してください。公的な支持にもかかわらず、彼らの参加は未確認のままです。
• データ調達慣行が進化するIETF標準および個別のプロバイダーポリシーと一致していることを確認するために、社内でコンプライアンス戦略を文書化してください。