Mejora la calidad de RAG con rastreo web personalizado para Amazon Bedrock

Amazon Web Services ha publicado una guía técnica que detalla cómo mejorar las aplicaciones de Generación Aumentada por Recuperación (RAG) mediante el preprocesamiento del contenido web antes de su ingesta. El tutorial, lanzado en noviembre de 2026, explica cómo los desarrolladores pueden utilizar la herramienta de código abierto Crawl4AI para limpiar y estructurar los datos antes de alimentarlos a las Bases de Conocimiento de Amazon Bedrock. Este enfoque está dirigido a escenarios donde los rastreadores predeterminados no logran aislar la información relevante o carecen del contexto de metadatos necesario.

Qué ocurrió

La construcción de sistemas RAG eficaces depende en gran medida de la calidad de los datos ingeridos. Las Bases de Conocimiento de Amazon Bedrock ofrecen un servicio gestionado que se encarga de la indexación, el almacenamiento y la recuperación, incluyendo un rastreador web integrado para sitios públicos. Si bien este conector gestionado es suficiente para muchos casos de uso, opera dentro de límites estrictos. Respeta los archivos robots.txt y captura cambios mediante sincronizaciones programadas, pero no permite una personalización profunda de cómo se analiza o filtra el contenido de la página antes de entrar en el almacén vectorial.

Para organizaciones que requieren un control más fino, AWS propone un flujo de trabajo híbrido. En lugar de depender únicamente del conector gestionado, los desarrolladores pueden insertar una etapa de preparación utilizando Crawl4AI. Este rastreador basado en Python extrae regiones específicas de contenido, elimina el texto repetitivo de navegación y adjunta atributos de metadatos personalizados. Los datos procesados se almacenan luego como archivos Markdown y sidecars JSON en Amazon S3, que sirve como fuente de datos para la base de conocimiento. Este método asegura que solo el contenido de alta señal llegue a los modelos de incrustación, mejorando potencialmente la relevancia de las respuestas.

La solución proporcionada describe un proceso de ingesta por lotes en lugar de acceso web en tiempo real. Utiliza AWS Fargate para ejecutar tareas de rastreo según un calendario, garantizando que la infraestructura escale automáticamente sin gestión manual de servidores. El flujo de trabajo está diseñado para ser extensible, permitiendo a los equipos definir sus propias reglas de análisis y esquemas de metadatos mientras aprovechan Amazon Bedrock para el trabajo pesado de fragmentación e incrustación.

Cómo funciona

El mecanismo central involucra tres etapas distintas: extracción, preparación e ingesta. Primero, una regla de Amazon EventBridge activa una tarea de AWS Fargate que ejecuta un script contenedorizado de Crawl4AI. El rastreador visita URLs semilla especificadas y aplica una estrategia de búsqueda en amplitud con profundidad y límites de páginas configurables. Utiliza un filtro de poda de contenido para eliminar encabezados, pies de página y anuncios, conservando solo el cuerpo principal del artículo, los títulos y las tablas. La salida se convierte en Markdown limpio, que preserva la semántica estructural mejor que el HTML crudo para los modelos de lenguaje grandes.

A continuación, el flujo de trabajo genera un sidecar de metadatos para cada documento. Este archivo JSON contiene atributos como la URL de origen, la marca de tiempo del rastreo y categorías personalizadas. Estos sidecars se suben a Amazon S3 junto con los archivos Markdown, siguiendo una convención de nombres estricta donde el nombre del archivo de metadatos coincide con el nombre del documento con la extensión .metadata.json. Amazon Bedrock lee estos sidecars durante la ingesta, permitiendo a los usuarios filtrar los resultados de búsqueda basándose en atributos personalizados como fecha o tipo de contenido.

Finalmente, la tarea activa un trabajo de ingesta en las Bases de Conocimiento de Amazon Bedrock. El servicio analiza el Markdown, aplica la estrategia de fragmentación seleccionada y crea incrustaciones vectoriales. Dado que el contenido ya está limpio y estructurado, es más probable que el proceso de fragmentación produzca segmentos coherentes. Los usuarios pueden elegir entre estrategias de fragmentación predeterminadas, de tamaño fijo o sin fragmentación, dependiendo de sus necesidades específicas de recuperación. El sistema luego indexa estos vectores, poniéndolos disponibles para la recuperación en tiempo de consulta con citas.

Detalles clave

• Herramientas: La solución utiliza Crawl4AI, un rastreador Python de código abierto, integrado con las Bases de Conocimiento de Amazon Bedrock a través de Amazon S3.
• Formato de datos: El contenido se convierte a Markdown para preservar la estructura mientras se elimina el ruido, acompañado de sidecars de metadatos JSON.
• Infraestructura: El proceso de rastreo se ejecuta en AWS Fargate, activado por Amazon EventBridge según un calendario configurable.
• Límites de metadatos: Cada sidecar de metadatos debe permanecer por debajo de 10 KB; exceder este límite provoca que la subida falle.
• Estrategias de fragmentación: Los usuarios pueden seleccionar opciones predeterminadas, de tamaño fijo o sin fragmentación durante la configuración de la fuente de datos, pero no pueden cambiarlas posteriormente sin crear una nueva fuente.
• Autenticación: La implementación de muestra solo soporta sitios web públicos; los sitios autenticados requieren revisiones de seguridad adicionales y manejo de sesiones.

Por qué importa

Para los ingenieros de software que construyen productos de IA, la diferencia entre una respuesta útil y una alucinación radia a menudo en la higiene de los datos. Los rastreadores web predeterminados tienden a ingerir páginas completas, incluyendo menús de navegación, banners de cookies y enlaces de pie de página. Este ruido diluye el significado semántico del contenido, llevando a peores puntuaciones de recuperación. Al preprocesar los datos con herramientas como Crawl4AI, los equipos pueden asegurar que el almacén vectorial contenga solo la información que realmente interesa a los usuarios. Esto conduce a respuestas más precisas y reduce el conteo de tokens requerido para las ventanas de contexto.

Adicionalmente, la capacidad de adjuntar metadatos personalizados transforma un simple motor de búsqueda en una base de datos filtrada. Los desarrolladores pueden etiquetar documentos con fechas de expiración, códigos de departamento o puntuaciones de confianza. En tiempo de consulta, estas etiquetas permiten un filtrado preciso, asegurando que la IA solo haga referencia a información actual o autorizada. Este nivel de control es crítico para aplicaciones empresariales donde el cumplimiento y la precisión son innegociables. La naturaleza modular de este enfoque también significa que los equipos pueden intercambiar el rastreador o el modelo de incrustación sin reescribir toda la lógica de la aplicación.

Qué puedes hacer

• Evalúa tu pipeline RAG actual para identificar si el contenido web ruidoso está degradando la calidad de las respuestas.
• Clona el repositorio aws-samples para Crawl4AI y Amazon Bedrock para probar el flujo de trabajo en un entorno sandbox.
• Define selectores CSS claros o reglas de poda para aislar las áreas de contenido principal de tus sitios web objetivo.
• Diseña un esquema de metadatos que incluya filtros útiles como fecha de publicación, autor o categoría del documento.
• Prueba diferentes estrategias de fragmentación en Amazon Bedrock usando muestras representativas para encontrar el equilibrio óptimo entre contexto y precisión.
• Implementa un alcance estricto de URLs y limitación de tasa en la configuración de tu rastreador para respetar los términos de servicio del sitio web.