Construir con IA

Por qué la búsqueda híbrida supera a la búsqueda web simple para agentes de IA

La búsqueda web en vivo ayuda a los agentes a encontrar datos actuales, pero la lógica de clasificación determina si ganan las fuentes internas o externas. La recuperación híbrida resuelve los conflictos entre documentación obsoleta y registros de cambios reci

Ilustración de recuperación híbrida que fusiona fuentes de datos web e internas
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Los agentes de IA han adquirido la capacidad de realizar búsquedas web en vivo, lo que les impide alucinar URLs cuando necesitan información actualizada. Sin embargo, simplemente obtener resultados en vivo no resuelve el desafío central de decidir en qué fuente confiar cuando los datos web entran en conflicto con los registros internos de la empresa. El verdadero obstáculo de ingeniería ha pasado de la generación a la recuperación, requiriendo sistemas que puedan clasificar la evidencia basándose simultáneamente en la frescura, la autoridad y los controles de acceso.

Qué ocurrió

Durante meses, los agentes de IA lucharon con un modo de fallo específico: cuando se les pedía documentación actual, intentaban adivinar URLs como docs.example.com/v4.2/auth, fallaban al cargarlas y recurrían a datos de entrenamiento obsoletos. Para corregir esto, proveedores de infraestructura como Cloudflare introdujeron APIs de Búsqueda Web en sus AI Gateways, permitiendo a los agentes obtener resultados en vivo con enlaces a las fuentes. Si bien esto soluciona el problema de encontrar páginas nuevas, introduce una nueva complejidad. Los agentes ahora operan con dos conjuntos distintos de evidencia: resultados públicos de la web y datos privados internos.

Estos dos conjuntos difieren significativamente en estructura y fiabilidad. Los resultados web suelen tener horas de antigüedad pero varían en calidad, mezclando documentación oficial con hilos de foros. Los datos internos son curados y autorizados, pero pueden estar desactualizados durante meses sin que nadie lo note. Cuando un agente encuentra un conflicto, como un registro de cambios del proveedor de ayer que contradice un artículo de la base de conocimientos interna de la primavera pasada, carece de la lógica inherente para decidir qué fuente gana. Esta decisión no puede dejarse únicamente al modelo de lenguaje; debe ocurrir en la capa de recuperación donde se aplican las reglas de negocio y los permisos.

El enfoque ingenuo de concatenar los resultados de búsqueda web e interna antes de enviarlos al modelo falla en producción. A medida que crecen los volúmenes de datos, este método conduce a conflictos no resueltos donde el modelo mezcla fuentes contradictorias o prioriza documentos internos obsoletos porque coinciden más estrechamente con la redacción del usuario. Además, aplicar controles de acceso después de la recuperación corre el riesgo de filtrar tickets internos sensibles al prompt, mientras que aplicarlos de manera demasiado tosca elimina contexto útil. La solución requiere un sistema de recuperación unificado que maneje la coincidencia léxica, la similitud semántica y el filtrado estructurado en una sola consulta.

Cómo funciona

La recuperación híbrida aborda estos problemas combinando coincidencia de palabras clave, búsqueda vectorial y filtros estructurados dentro de una colección indexada única. La coincidencia de palabras clave es esencial para capturar nombres exactos de productos, códigos de error y cadenas de versión, que los modelos de incrustación a menudo pasan por alto. La búsqueda vectorial captura paráfrasis y la intención del usuario. Los filtros estructurados imponen restricciones rígidas como el derecho del cliente, la versión del software y la región. Al ejecutar estas operaciones juntas, el sistema garantiza que solo entren en la fase de clasificación datos relevantes y permisibles.

La clasificación en este contexto va más allá de las simples puntuaciones de similitud. Los sistemas efectivos utilizan una clasificación multifásica para ponderar explícitamente la frescura, la autoridad de la fuente y las reglas de negocio. Por ejemplo, un perfil de clasificación podría potenciar la documentación oficial sobre los hilos de foros y priorizar el registro de cambios de la semana pasada sobre una página wiki de hace un año. La frescura y la autoridad se tratan como entradas explícitas e inspeccionables para la puntuación, en lugar de características implícitas que el modelo debe inferir. Esto permite a los ingenieros ajustar la rapidez con la que los documentos antiguos pierden relevancia, asegurando que la evidencia más actual y autorizada suba a la parte superior.

Los resultados web se tratan como candidatos, no como respuestas finales. Dependiendo de la arquitectura, los resultados externos pueden indexarse en una colección compartida junto con los datos internos o recuperarse por separado y fusionarse posteriormente. En cualquier caso, el objetivo es evaluar toda la evidencia contra un conjunto consistente de criterios antes de seleccionar qué va al prompt. Este enfoque reduce la carga de la ventana de contexto al enviar al modelo menos piezas de evidencia, mejor seleccionadas, lo que mejora tanto la latencia como la calidad de la respuesta.

Detalles clave

  • La búsqueda web en vivo evita que los agentes adivinen URLs, pero crea un problema de clasificación entre datos externos nuevos y registros internos obsoletos.
  • Concatenar los resultados de búsqueda falla porque los modelos no pueden resolver fiablemente los conflictos entre fuentes contradictorias sin señales de clasificación explícitas.
  • La recuperación híbrida combina la coincidencia de palabras clave para términos exactos, la búsqueda vectorial para la intención y los filtros estructurados para los permisos en una sola consulta.
  • La clasificación multifásica permite a los ingenieros ponderar explícitamente la frescura y la autoridad de la fuente, asegurando que los registros de cambios nuevos superen a los artículos antiguos de la base de conocimientos.
  • Los controles de acceso deben aplicarse en el momento de la recuperación para evitar que datos internos sensibles entren en el prompt, manteniendo al mismo tiempo el contexto útil.
  • Los sistemas deben manejar altos volúmenes de llamadas, ya que los agentes pueden desencadenar decenas de llamadas de recuperación por tarea, lo que requiere inferencia de baja latencia cerca de los datos.

Por qué importa

Para los equipos que construyen agentes de IA, este cambio significa que la infraestructura de búsqueda ya no es una mercancía, sino un componente central de la fiabilidad del agente. La calidad de la respuesta de un agente depende menos de las capacidades generativas del modelo de lenguaje y más de la precisión de la capa de recuperación. Los ingenieros deben diseñar sistemas capaces de manejar el volumen y la complejidad de los flujos de trabajo de los agentes, donde cada llamada de recuperación está en la ruta crítica hacia la respuesta final. Sin una recuperación híbrida robusta, los agentes seguirán proporcionando respuestas seguras pero incorrectas basadas en datos obsoletos o no autorizados.

Esto también cambia cómo gestionan las organizaciones su conocimiento interno. Los documentos deben almacenarse con metadatos como fechas de publicación, tipos de fuente y etiquetas de versión para habilitar una clasificación efectiva. Simplemente volcar texto en una base de datos vectorial es insuficiente. Los equipos necesitan tratar la recuperación como un problema de ingeniería medible, rastreando si la evidencia correcta aparece en los primeros resultados independientemente de la redacción del modelo. Esto requiere pruebas de carga al volumen de los agentes, simulando los múltiples pasos de recuperación que un agente realiza durante una sola tarea.

Qué puedes hacer

  • Almacena fechas de publicación y tipos de fuente en cada documento, interno o externo, para habilitar la clasificación basada en la frescura.
  • Incluye señales léxicas en tu pipeline de recuperación para capturar números de versión exactos y códigos de error que las incrustaciones pasan por alto.
  • Aplica filtros de permiso en el momento de la consulta, en lugar de posprocesamiento, para garantizar que los datos sensibles nunca lleguen al modelo.
  • Envía solo los pasajes más relevantes al modelo, clasificados por fragmento, en lugar de documentos completos, para reducir el ruido del contexto.
  • Construye un conjunto de prueba con preguntas reales de agentes para medir la precisión de la recuperación por separado de la calidad de la generación.
  • Realiza pruebas de carga en tu sistema de recuperación con el número real de llamadas que un agente realiza por tarea, no solo una consulta por solicitud.
  • #ai agents
  • #retrieval augmented generation
  • #hybrid search
  • #vector databases
  • #software engineering

Herramientas de la Tienda de Bytechap

$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos