Grandes laboratorios de IA adoptan un estándar compartido del IETF para la exclusión de scraping

OpenAI, Google, Microsoft y Anthropic han acordado apoyar un nuevo estándar del Internet Engineering Task Force (IETF) que permite a los editores de sitios web excluirse del scraping de datos de IA. Anunciada el 30 de octubre de 2026, esta iniciativa introduce un token de política compartido dentro del marco existente de robots.txt, lo que permite a los propietarios de sitios establecer sus preferencias de entrenamiento una sola vez, en lugar de negociar individualmente con cada proveedor de IA.

Qué ha ocurrido

El núcleo de este desarrollo es una señal unificada propuesta por Kevin Kelley, líder técnico de estándares en Anthropic. Actualmente, los editores que desean evitar que su contenido sea utilizado en el entrenamiento de modelos de IA deben configurar ajustes separados para cada gran empresa de IA. Este enfoque fragmentado genera una importante sobrecarga administrativa y a menudo conduce a una aplicación inconsistente. El nuevo estándar busca consolidar estas preferencias en una única directiva legible por máquina que todos los rastreadores participantes respetarán.

Bajo este acuerdo, si un rastreador de IA encuentra el token de política compartido en el archivo robots.txt de un sitio, restringirá el acceso a ese sitio con fines de entrenamiento. Anthropic ya ha adoptado la señal. OpenAI planea implementarla en los próximos meses, mientras que Google y Microsoft han programado su soporte para el próximo año. Meta también ha expresado su apoyo al concepto; Andy Stone, jefe de comunicaciones, destacó la importancia de una señal común, aunque la compañía aún no ha confirmado si honrará técnicamente la exclusión.

Este movimiento llega mientras los editores siguen luchando con el volumen de tráfico automatizado generado por los bots de IA. Los intentos anteriores para gestionar esta afluencia incluyen el estándar Really Simple Licensing (RSL), que permite a los editores cobrar por el acceso de los rastreadores, y bloqueos a nivel de infraestructura como los ofrecidos por Cloudflare. La nueva propuesta del IETF se diferencia al centrarse en un mecanismo de cumplimiento voluntario estandarizado entre los mayores desarrolladores de IA, en lugar de pasarelas de pago o bloqueos de red estrictos.

Cómo funciona

La tecnología aprovecha el archivo robots.txt, un archivo de texto de larga data ubicado en el directorio raíz de los sitios web para comunicarse con los rastreadores web. Tradicionalmente, este archivo indica a los motores de búsqueda qué páginas pueden indexar para los resultados de búsqueda. El nuevo estándar extiende este protocolo introduciendo un token de política específico que señala las preferencias respecto al entrenamiento y la fundamentación (grounding) de IA.

Cuando el rastreador de una empresa de IA visita un sitio web, primero revisa el archivo robots.txt. Si encuentra el nuevo token de política que indica una exclusión, el rastreador está programado para omitir el contenido del sitio para los fines especificados. Microsoft ha indicado que ofrecerá controles granulares, permitiendo a los editores distinguir entre excluirse del entrenamiento general de IA y excluirse de la fundamentación de IA. La fundamentación se refiere al proceso mediante el cual los modelos hacen referencia a fuentes verificadas para reducir las alucinaciones durante la generación. Es importante destacar que Microsoft aclaró que excluirse del entrenamiento o la fundamentación de IA no afectará la visibilidad del sitio en los resultados de búsqueda tradicionales de Bing.

Google ha implementado distinciones similares en el pasado, permitiendo a los sitios controlar su presencia en funciones de búsqueda generadas por IA sin penalizar su clasificación orgánica en búsquedas. El nuevo estándar del IETF busca hacer que este nivel de control sea interoperable entre diferentes proveedores, asegurando que una única actualización de configuración se propague a todos los rastreadores compatibles.

Detalles clave

• Proponente: Kevin Kelley, líder técnico de estándares en Anthropic, presentó la propuesta al IETF.
• Mecanismo: Un token de política compartido añadido al archivo robots.txt del sitio web.
• Cronograma de adopción: Anthropic ya ha adoptado la señal; OpenAI la implementará en los próximos meses; Google y Microsoft planean apoyarla el próximo año.
• Postura de Meta: Andy Stone expresó su apoyo al estándar pero no confirmó si Meta honrará técnicamente la exclusión.
• Granularidad: Microsoft permitirá a los editores excluirse por separado del entrenamiento de IA y de la fundamentación de IA.
• Impacto en la búsqueda: Excluirse del scraping de IA no eliminará los sitios web de los resultados de los motores de búsqueda tradicionales como Bing o Google Search.

Por qué importa

Para ingenieros de software y fundadores técnicos que construyen productos que dependen de datos web, esta estandarización simplifica el panorama de cumplimiento normativo. En lugar de mantener listas complejas de permitidos o bloqueados específicas de cada proveedor, los equipos de ingeniería pueden confiar en una única señal respaldada por la industria para determinar los derechos de uso de datos. Esto reduce el riesgo de infracción accidental de derechos de autor y disminuye el costo operativo de gestionar las tuberías de ingesta de datos.

Sin embargo, el despliegue escalonado significa que no se garantiza una uniformidad inmediata. Los desarrolladores que construyen sistemas RAG (Generación Aumentada por Recuperación) o entrenan modelos fundamentales deben ser conscientes de que no todos los grandes actores están aplicando el token simultáneamente. Hasta que Google y Microsoft implementen completamente el estándar el próximo año, los editores podrían necesitar mantener configuraciones heredadas para esos rastreadores específicos. Este período de transición requiere una supervisión cuidadosa del comportamiento de los rastreadores y la adhesión a las políticas individuales existentes hasta que el ecosistema converja.

Además, la distinción entre entrenamiento y fundamentación es crítica para la arquitectura de aplicaciones. Si un editor se excluye de la fundamentación pero permite el entrenamiento, su contenido podría influir en los pesos del modelo pero no ser citado como fuente en respuestas en tiempo real. Los ingenieros deben diseñar su lógica de filtrado de datos para respetar estas preferencias matizadas, asegurando que sus aplicaciones no violen inadvertidamente las restricciones específicas de un editor sobre cómo se utiliza su datos.

Qué puedes hacer

• Audita tus actuales tuberías de ingesta de datos para identificar qué rastreadores de IA están accediendo actualmente a tus dominios.
• Actualiza tus archivos robots.txt para incluir el nuevo token de política si deseas excluirte del entrenamiento de IA, teniendo en cuenta que el apoyo total de la industria aún no es universal.
• Supervisa los cronogramas de implementación de Google y Microsoft, ya que su soporte está programado para el próximo año, lo que requiere el uso continuado de sus controles heredados específicos en el ínterin.
• Revisa la lógica de obtención de fuentes de tu sistema RAG para asegurar que respete las exclusiones granulares para la fundamentación de IA, especialmente si utilizas modelos basados en Microsoft.
• Mantente informado sobre la decisión final de Meta respecto a honrar el estándar, ya que su participación sigue sin confirmarse a pesar del apoyo público.
• Documenta tu estrategia de cumplimiento internamente para asegurar que las prácticas de adquisición de datos se alineen con el estándar evolutivo del IETF y las políticas individuales de cada proveedor.