Verbesserung der RAG-Qualität durch individuelles Web-Crawling für Amazon Bedrock

Amazon Web Services hat einen technischen Leitfaden veröffentlicht, der detailliert beschreibt, wie Retrieval-Augmented-Generation-Anwendungen (RAG) durch die Vorverarbeitung von Webinhalten vor der Aufnahme verbessert werden können. Das Tutorial, das im November 2026 erschienen ist, erklärt, wie Entwickler das Open-Source-Tool Crawl4AI nutzen können, um Daten zu bereinigen und zu strukturieren, bevor sie in Amazon Bedrock Knowledge Bases eingespeist werden. Dieser Ansatz zielt auf Szenarien ab, in denen Standard-Crawler versagen, relevante Informationen zu isolieren oder notwendige Metadatenkontexte bereitzustellen.

Was passiert ist

Der Aufbau effektiver RAG-Systeme hängt stark von der Qualität der aufgenommenen Daten ab. Amazon Bedrock Knowledge Bases bietet einen verwalteten Dienst, der Indizierung, Speicherung und Abruf übernimmt, einschließlich eines integrierten Web-Crawlers für öffentliche Websites. Obwohl dieser verwaltete Connector für viele Anwendungsfälle ausreicht, operiert er innerhalb strenger Grenzen. Er respektiert robots.txt-Dateien und erfasst Änderungen über geplante Synchronisierungen, erlaubt jedoch keine tiefgreifende Anpassung der Art und Weise, wie Seiteninhalte geparst oder gefiltert werden, bevor sie den Vektorspeicher erreichen.

Für Organisationen, die eine feinere Kontrolle benötigen, schlägt AWS einen hybriden Workflow vor. Anstatt sich ausschließlich auf den verwalteten Connector zu verlassen, können Entwickler einen Vorbereitungsschritt unter Verwendung von Crawl4AI einfügen. Dieser Python-basierte Crawler extrahiert spezifische Inhaltsbereiche, entfernt Navigations-Bausteine und fügt benutzerdefinierte Metadatenattribute hinzu. Die verarbeiteten Daten werden als Markdown-Dateien und JSON-Sidecars in Amazon S3 gespeichert, welches als Datenquelle für die Wissensbasis dient. Diese Methode stellt sicher, dass nur inhaltsreiche Daten die Einbettungsmodelle erreichen, was potenziell die Relevanz der Antworten verbessert.

Die bereitgestellte Lösung skizziert einen Batch-Aufnahmeprozess anstelle eines Echtzeit-Webzugriffs. Sie nutzt AWS Fargate, um die Crawling-Aufgaben nach einem Zeitplan auszuführen, sodass die Infrastruktur automatisch skaliert wird, ohne manuelle Serververwaltung. Der Workflow ist so konzipiert, dass er erweiterbar ist und Teams ihre eigenen Parsing-Regeln und Metadatenschemas definieren können, während sie Amazon Bedrock für die rechenintensive Arbeit beim Chunking und bei der Einbettung nutzen.

Wie es funktioniert

Der Kernmechanismus umfasst drei unterschiedliche Phasen: Extraktion, Vorbereitung und Aufnahme. Zunächst löst eine Amazon EventBridge-Regel eine AWS Fargate-Aufgabe aus, die ein containerisiertes Crawl4AI-Skript ausführt. Der Crawler besucht festgelegte Seed-URLs und wendet eine Breitensuche-Strategie mit konfigurierbarer Tiefe und Seitenlimitierung an. Er verwendet einen Pruning-Content-Filter, um Header, Footer und Werbung zu entfernen und behält nur den Hauptartikeltext, Überschriften und Tabellen bei. Die Ausgabe wird in sauberes Markdown konvertiert, das strukturelle Semantik besser bewahrt als rohes HTML für große Sprachmodelle.

Als Nächstes generiert der Workflow ein Metadaten-Sidecar für jedes Dokument. Diese JSON-Datei enthält Attribute wie Quell-URL, Crawling-Zeitstempel und benutzerdefinierte Kategorien. Diese Sidecars werden zusammen mit den Markdown-Dateien in Amazon S3 hochgeladen, wobei einer strengen Namenskonvention gefolgt wird, bei der der Name der Metadatendatei dem Dokumentnamen entspricht, ergänzt durch die Endung .metadata.json. Amazon Bedrock liest diese Sidecars während der Aufnahme und ermöglicht es Nutzern, Suchergebnisse basierend auf benutzerdefinierten Attributen wie Datum oder Inhaltstyp zu filtern.

Schließlich löst die Aufgabe einen Auftragsjob in Amazon Bedrock Knowledge Bases aus. Der Dienst parst das Markdown, wendet die ausgewählte Chunking-Strategie an und erstellt Vektor-Einbettungen. Da die Inhalte bereits bereinigt und strukturiert sind, erzeugt der Chunking-Prozess mit höherer Wahrscheinlichkeit kohärente Segmente. Nutzer können je nach ihren spezifischen Abrufanforderungen zwischen Standard-, fester Größen- oder No-Chunking-Strategien wählen. Das System indexiert diese Vektoren anschließend und macht sie für den Abfragezeitpunkt-Abruf mit Zitaten verfügbar.

Wichtige Details

• Werkzeuge: Die Lösung nutzt Crawl4AI, einen Open-Source-Python-Crawler, der über Amazon S3 mit Amazon Bedrock Knowledge Bases integriert ist.
• Datenformat: Inhalte werden in Markdown konvertiert, um Struktur zu erhalten und Rauschen zu entfernen, begleitet von JSON-Metadaten-Sidecars.
• Infrastruktur: Der Crawling-Prozess läuft auf AWS Fargate, ausgelöst durch Amazon EventBridge nach einem konfigurierbaren Zeitplan.
• Metadaten-Limits: Jedes Metadaten-Sidecar muss unter 10 KB bleiben; das Überschreiten dieses Limits führt zum Scheitern des Uploads.
• Chunking-Strategien: Nutzer können während der Konfiguration der Datenquelle Standard-, feste Größen- oder No-Chunking-Optionen auswählen, diese aber später nicht ändern, ohne eine neue Quelle zu erstellen.
• Authentifizierung: Die Beispielimplementierung unterstützt nur öffentliche Websites; authentifizierte Sites erfordern zusätzliche Sicherheitsüberprüfungen und Session-Handling.

Warum es wichtig ist

Für Software-Ingenieure, die KI-Produkte entwickeln, liegt der Unterschied zwischen einer nützlichen Antwort und einer Halluzination oft in der Datenhygiene. Standard-Web-Crawler neigen dazu, ganze Seiten aufzunehmen, einschließlich Navigationsmenüs, Cookie-Banner und Footer-Links. Dieses Rauschen verdünnt die semantische Bedeutung des Inhalts und führt zu schlechteren Abrufwerten. Durch die Vorverarbeitung von Daten mit Tools wie Crawl4AI können Teams sicherstellen, dass der Vektorspeicher nur die Informationen enthält, die für Nutzer tatsächlich relevant sind. Dies führt zu genaueren Antworten und reduziert die Anzahl der Tokens, die für Kontextfenster erforderlich sind.

Zusätzlich verwandelt die Möglichkeit, benutzerdefinierte Metadaten anzuhängen, eine einfache Suchmaschine in eine gefilterte Datenbank. Entwickler können Dokumente mit Ablaufdaten, Abteilungscodes oder Konfidenzwerten taggen. Zum Abfragezeitpunkt ermöglichen diese Tags präzises Filtern, sodass die KI nur aktuelle oder autorisierte Informationen referenziert. Dieses Maß an Kontrolle ist für Unternehmensanwendungen entscheidend, in denen Compliance und Genauigkeit nicht verhandelbar sind. Die modulare Natur dieses Ansatzes bedeutet auch, dass Teams den Crawler oder das Einbettungsmodell austauschen können, ohne die gesamte Anwendungslogik neu schreiben zu müssen.

Was Sie tun können

• Bewerten Sie Ihre aktuelle RAG-Pipeline, um festzustellen, ob verrauschte Webinhalte die Antwortqualität beeinträchtigen.
• Klonen Sie das aws-samples-Repository für Crawl4AI und Amazon Bedrock, um den Workflow in einer Sandbox-Umgebung zu testen.
• Definieren Sie klare CSS-Selektoren oder Pruning-Regeln, um die Hauptinhaltsbereiche Ihrer Zielwebsites zu isolieren.
• Entwerfen Sie ein Metadatenschema, das nützliche Filter wie Veröffentlichungsdatum, Autor oder Dokumentenkategorie einschließt.
• Testen Sie verschiedene Chunking-Strategien in Amazon Bedrock anhand repräsentativer Stichproben, um die optimale Balance zwischen Kontext und Präzision zu finden.
• Implementieren Sie striktes URL-Scoping und Rate Limiting in Ihrer Crawler-Konfiguration, um die Nutzungsbedingungen der Websites zu respektieren.