Les grands laboratoires d'IA adoptent une norme IETF commune pour le refus de scraping

OpenAI, Google, Microsoft et Anthropic ont accepté de soutenir une nouvelle norme de l'Internet Engineering Task Force (IETF) qui permet aux éditeurs de sites web de refuser le scraping des données par l'IA. Annoncée le 30 octobre 2026, cette initiative introduit un jeton de politique commun au sein du cadre existant de robots.txt, permettant aux propriétaires de sites de définir leurs préférences en matière d'entraînement une seule fois, plutôt que de négocier individuellement avec chaque fournisseur d'IA.

Ce qui s'est passé

Le cœur de ce développement est un signal unifié proposé par Kevin Kelley, responsable technique des normes chez Anthropic. Actuellement, les éditeurs qui souhaitent empêcher l'utilisation de leur contenu pour l'entraînement des modèles d'IA doivent configurer des paramètres distincts pour chaque grande entreprise d'IA. Cette approche fragmentée crée une charge administrative significative et conduit souvent à une application incohérente. La nouvelle norme vise à consolider ces préférences en une directive unique, lisible par machine, que tous les crawlers participants respecteront.

Dans le cadre de cet accord, si un crawler d'IA rencontre le jeton de politique commun dans le fichier robots.txt d'un site, il limitera l'accès à ce site à des fins d'entraînement. Anthropic a déjà adopté ce signal. OpenAI prévoit de le mettre en œuvre dans les mois à venir, tandis que Google et Microsoft ont programmé leur soutien pour l'année prochaine. Meta a également exprimé son soutien au concept, Andy Stone, responsable de la communication, soulignant l'importance d'un signal commun, bien que l'entreprise n'ait pas encore confirmé si elle respectera techniquement le refus.

Cette évolution intervient alors que les éditeurs continuent de lutter contre le volume de trafic automatisé généré par les bots d'IA. Les tentatives précédentes pour gérer ce flux incluent la norme Really Simple Licensing (RSL), qui permet aux éditeurs de facturer l'accès aux crawlers, et les blocages au niveau de l'infrastructure proposés par Cloudflare. La nouvelle proposition de l'IETF se distingue en mettant l'accent sur un mécanisme de conformité volontaire normalisé entre les plus grands développeurs d'IA, plutôt que sur des passerelles de paiement ou des blocages réseau stricts.

Comment cela fonctionne

La technologie exploite le fichier robots.txt, un fichier texte de longue date placé dans le répertoire racine des sites web pour communiquer avec les crawlers web. Traditionnellement, ce fichier indique aux moteurs de recherche quelles pages ils peuvent indexer pour les résultats de recherche. La nouvelle norme étend ce protocole en introduisant un jeton de politique spécifique qui signale les préférences concernant l'entraînement et l'ancrage (grounding) de l'IA.

Lorsqu'un crawler d'une entreprise d'IA visite un site web, il vérifie d'abord le fichier robots.txt. S'il trouve le nouveau jeton de politique indiquant un refus, le crawler est programmé pour ignorer le contenu du site aux fins spécifiées. Microsoft a indiqué qu'il offrira des contrôles granulaires, permettant aux éditeurs de distinguer le refus de l'entraînement général de l'IA du refus de l'ancrage de l'IA. L'ancrage fait référence au processus par lequel les modèles consultent des sources vérifiées pour réduire les hallucinations lors de la génération. Il est important de noter que Microsoft a précisé que le refus de l'entraînement ou de l'ancrage de l'IA n'affectera pas la visibilité d'un site dans les résultats de recherche traditionnels de Bing.

Google a mis en œuvre des distinctions similaires par le passé, permettant aux sites de contrôler leur présence dans les fonctionnalités de recherche générées par l'IA sans pénaliser leur classement organique. La nouvelle norme de l'IETF cherche à rendre ce niveau de contrôle interopérable entre différents fournisseurs, garantissant qu'une seule mise à jour de configuration se propage à tous les crawlers conformes.

Détails clés

• Proposant : Kevin Kelley, responsable technique des normes chez Anthropic, a soumis la proposition à l'IETF.
• Mécanisme : Un jeton de politique commun ajouté au fichier robots.txt du site web.
• Calendrier d'adoption : Anthropic a déjà adopté le signal ; OpenAI le mettra en œuvre dans les mois à venir ; Google et Microsoft prévoient de le soutenir l'année prochaine.
• Position de Meta : Andy Stone a exprimé son soutien à la norme mais n'a pas confirmé si Meta respectera techniquement le refus.
• Granularité : Microsoft permettra aux éditeurs de refuser séparément l'entraînement de l'IA et l'ancrage de l'IA.
• Impact sur la recherche : Le refus du scraping par l'IA ne retirera pas les sites web des résultats des moteurs de recherche traditionnels comme Bing ou Google Search.

Pourquoi c'est important

Pour les ingénieurs logiciels et les fondateurs techniques développant des produits dépendants des données web, cette normalisation simplifie le paysage de la conformité. Au lieu de maintenir des listes blanches ou noires complexes et spécifiques aux fournisseurs, les équipes d'ingénierie peuvent compter sur un signal unique soutenu par l'industrie pour déterminer les droits d'utilisation des données. Cela réduit le risque d'infraction accidentelle aux droits d'auteur et diminue le coût opérationnel de la gestion des pipelines d'ingestion de données.

Cependant, le déploiement échelonné signifie que l'uniformité immédiate n'est pas garantie. Les développeurs construisant des systèmes RAG (Retrieval-Augmented Generation) ou entraînant des modèles fondamentaux doivent rester conscients que tous les acteurs majeurs n'appliquent pas le token simultanément. Tant que Google et Microsoft n'auront pas pleinement mis en œuvre la norme l'année prochaine, les éditeurs pourraient encore devoir maintenir des configurations héritées pour ces crawlers spécifiques. Cette période transitoire nécessite une surveillance attentive du comportement des crawlers et le respect des politiques individuelles existantes jusqu'à ce que l'écosystème converge.

De plus, la distinction entre entraînement et ancrage est critique pour l'architecture des applications. Si un éditeur refuse l'ancrage mais autorise l'entraînement, son contenu pourrait influencer les poids du modèle mais ne pas être cité comme source dans les réponses en temps réel. Les ingénieurs doivent concevoir leur logique de filtrage des données pour respecter ces préférences nuancées, en veillant à ce que leurs applications ne violent pas involontairement les contraintes spécifiques d'un éditeur concernant l'utilisation de ses données.

Ce que vous pouvez faire

• Auditez vos pipelines actuels d'ingestion de données pour identifier quels crawlers d'IA accèdent actuellement à vos domaines.
• Mettez à jour vos fichiers robots.txt pour inclure le nouveau jeton de politique si vous souhaitez refuser l'entraînement de l'IA, en gardant à l'esprit que le soutien complet de l'industrie n'est pas encore universel.
• Surveillez les calendriers de mise en œuvre de Google et Microsoft, car leur soutien est prévu pour l'année prochaine, nécessitant l'utilisation continue de leurs contrôles hérités spécifiques dans l'intervalle.
• Revoyez la logique de sourcing de votre système RAG pour garantir qu'elle respecte les refus granulaires pour l'ancrage de l'IA, en particulier si vous utilisez des modèles basés sur Microsoft.
• Restez informé de la décision finale de Meta concernant le respect de la norme, car leur participation reste non confirmée malgré un soutien public.
• Documentez votre stratégie de conformité en interne pour garantir que les pratiques d'approvisionnement en données s'alignent sur la norme IETF évolutive et les politiques individuelles des fournisseurs.