Große KI-Labore übernehmen gemeinsamen IETF-Standard für Scraping-Ablehnungen

OpenAI, Google, Microsoft und Anthropic haben sich darauf geeinigt, einen neuen Standard der Internet Engineering Task Force (IETF) zu unterstützen, der Website-Publishern ermöglicht, sich gegen das Scraping von Daten für KI abzumelden. Die am 30. Oktober 2026 angekündigte Initiative führt ein gemeinsames Policy-Token im bestehenden robots.txt-Framework ein. So können Site-Betreiber ihre Präferenzen für das Training einmalig festlegen, anstatt mit jedem einzelnen KI-Anbieter separat zu verhandeln.

Was passiert ist

Der Kern dieser Entwicklung ist ein einheitliches Signal, das von Kevin Kelley vorgeschlagen wurde, dem technischen Leiter für Standards bei Anthropic. Derzeit müssen Publisher, die verhindern möchten, dass ihre Inhalte für das Training von KI-Modellen verwendet werden, separate Einstellungen für jedes große KI-Unternehmen konfigurieren. Dieser fragmentierte Ansatz erzeugt erheblichen Verwaltungsaufwand und führt oft zu inkonsistenter Durchsetzung. Der neue Standard zielt darauf ab, diese Präferenzen in einer einzigen, maschinenlesbaren Direktive zusammenzufassen, die alle teilnehmenden Crawler respektieren.

Im Rahmen dieser Vereinbarung wird ein KI-Crawler den Zugriff auf eine Website für Trainingszwecke einschränken, wenn er das gemeinsame Policy-Token in der robots.txt-Datei der Seite findet. Anthropic hat das Signal bereits übernommen. OpenAI plant die Implementierung in den kommenden Monaten, während Google und Microsoft die Unterstützung für nächstes Jahr eingeplant haben. Auch Meta hat seine Zustimmung zum Konzept bekundet; Andy Stone, Leiter der Kommunikation, betonte die Bedeutung eines gemeinsamen Signals, bestätigte jedoch noch nicht, ob das Unternehmen den Abmeldeprozess technisch auch tatsächlich umsetzen wird.

Dieser Schritt erfolgt, während Publisher weiterhin mit dem Volumen des automatisierten Traffics kämpfen, der von KI-Bots generiert wird. Frühere Versuche, diesen Zustrom zu managen, umfassen den Really Simple Licensing (RSL)-Standard, der Publishern erlaubt, Gebühren für den Crawler-Zugang zu erheben, sowie Infrastruktur-Level-Sperren wie jene, die von Cloudflare angeboten werden. Der neue IETF-Vorschlag unterscheidet sich dadurch, dass er sich auf einen standardisierten, freiwilligen Compliance-Mechanismus unter den größten KI-Entwicklern konzentriert, anstatt auf Zahlungs-Gateways oder harte Netzwerksperren.

Wie es funktioniert

Die Technologie nutzt die robots.txt-Datei, eine seit langem bestehende Textdatei, die im Root-Verzeichnis von Websites platziert wird, um mit Web-Crawlern zu kommunizieren. Traditionell teilt diese Datei Suchmaschinen mit, welche Seiten sie für die Suchergebnisse indexieren dürfen. Der neue Standard erweitert dieses Protokoll durch die Einführung eines spezifischen Policy-Tokens, das Präferenzen bezüglich KI-Training und Grounding signalisiert.

Wenn der Crawler eines KI-Unternehmens eine Website besucht, prüft er zunächst die robots.txt-Datei. Findet er das neue Policy-Token, das eine Abmeldung anzeigt, ist der Crawler so programmiert, dass er den Inhalt der Seite für die angegebenen Zwecke überspringt. Microsoft hat angegeben, dass es granulare Kontrollen anbieten wird, die es Publishern ermöglichen, zwischen der Abmeldung vom allgemeinen KI-Training und der Abmeldung vom KI-Grounding zu unterscheiden. Grounding bezeichnet den Prozess, bei dem Modelle verifizierte Quellen referenzieren, um Halluzinationen während der Generierung zu reduzieren. Wichtig ist: Microsoft stellte klar, dass die Abmeldung vom KI-Training oder Grounding die Sichtbarkeit einer Seite in den traditionellen Bing-Suchergebnissen nicht beeinträchtigen wird.

Google hat ähnliche Unterscheidungen in der Vergangenheit implementiert, die es Sites erlauben, ihre Präsenz in KI-generierten Suchfunktionen zu steuern, ohne ihr organisches Suchranking zu bestrafen. Der neue IETF-Standard versucht, diese Ebene der Kontrolle interoperabel über verschiedene Anbieter hinweg zu machen, sodass ein einzelnes Konfigurations-Update an alle complianten Crawler propagiert wird.

Wichtige Details

• Vorschlagender: Kevin Kelley, technischer Leiter für Standards bei Anthropic, reichte den Vorschlag bei der IETF ein.
• Mechanismus: Ein gemeinsames Policy-Token, das zur robots.txt-Datei der Website hinzugefügt wird.
• Adoptions-Zeitplan: Anthropic hat das Signal bereits übernommen; OpenAI wird es in den kommenden Monaten implementieren; Google und Microsoft planen die Unterstützung für nächstes Jahr.
• Metas Haltung: Andy Stone äußerte Unterstützung für den Standard, bestätigte aber nicht, ob Meta den Abmeldungsprozess technisch respektieren wird.
• Granularität: Microsoft wird Publishern erlauben, sich getrennt vom KI-Training und vom KI-Grounding abzumelden.
• Auswirkung auf die Suche: Die Abmeldung vom KI-Scraping wird Websites nicht aus traditionellen Suchmaschinenergebnissen wie Bing oder Google Search entfernen.

Warum es wichtig ist

Für Software-Ingenieure und technische Gründer, die Produkte entwickeln, die auf Webdaten basieren, vereinfacht diese Standardisierung die Compliance-Landschaft. Anstatt komplexe, anbieterspezifische Allowlists oder Blocklists zu pflegen, können Engineering-Teams sich auf ein einziges, industrieunterstütztes Signal verlassen, um die Nutzungsrechte für Daten zu bestimmen. Dies reduziert das Risiko versehentlicher Urheberrechtsverletzungen und senkt die operativen Kosten für das Management von Daten-Ingestions-Pipelines.

Allerdings bedeutet der gestaffelte Rollout, dass sofortige Uniformität nicht garantiert ist. Entwickler, die RAG-Systeme (Retrieval-Augmented Generation) bauen oder fundamentale Modelle trainieren, müssen sich bewusst sein, dass nicht alle großen Akteure das Token gleichzeitig durchsetzen. Bis Google und Microsoft den Standard nächstes Jahr vollständig implementieren, müssen Publisher möglicherweise weiterhin Legacy-Konfigurationen für diese spezifischen Crawler beibehalten. Diese Übergangsphase erfordert sorgfältiges Monitoring des Crawler-Verhaltens und die Einhaltung bestehender individueller Richtlinien, bis das Ökosystem konvergiert.

Darüber hinaus ist die Unterscheidung zwischen Training und Grounding kritisch für die Anwendungsarchitektur. Wenn ein Publisher sich vom Grounding abmeldet, aber das Training erlaubt, könnte sein Inhalt die Gewichte des Modells beeinflussen, aber nicht als Quelle in Echtzeit-Antworten zitiert werden. Ingenieure müssen ihre Datenfilterlogik so gestalten, dass sie diese nuancierten Präferenzen respektiert und sicherstellt, dass ihre Anwendungen nicht unbeabsichtigt spezifische Einschränkungen des Publishers hinsichtlich der Datennutzung verletzen.

Was Sie tun können

• Auditieren Sie Ihre aktuellen Daten-Ingestions-Pipelines, um zu identifizieren, welche KI-Crawler derzeit auf Ihre Domains zugreifen.
• Aktualisieren Sie Ihre robots.txt-Dateien, um das neue Policy-Token einzuschließen, wenn Sie sich vom KI-Training abmelden möchten. Beachten Sie dabei, dass die volle Branchenunterstützung noch nicht universell ist.
• Überwachen Sie die Implementierungszeitpläne für Google und Microsoft, da deren Unterstützung für nächstes Jahr geplant ist und vorerst die Nutzung ihrer spezifischen Legacy-Kontrollen erfordert.
• Prüfen Sie die Sourcing-Logik Ihres RAG-Systems, um sicherzustellen, dass sie granulare Abmeldungen für das KI-Grounding respektiert, insbesondere wenn Sie Microsoft-basierte Modelle verwenden.
• Bleiben Sie informiert über Metas endgültige Entscheidung regarding der Einhaltung des Standards, da deren Teilnahme trotz öffentlicher Unterstützung noch unbestätigt ist.
• Dokumentieren Sie Ihre Compliance-Strategie intern, um sicherzustellen, dass Ihre Praktiken zur Datenbeschaffung mit dem sich entwickelnden IETF-Standard und den individuellen Anbieter-Richtlinien übereinstimmen.