Développer avec l’IA

Pourquoi la récupération hybride surpasse la simple recherche web pour les agents IA

La recherche web en direct aide les agents à trouver des données actuelles, mais c'est la logique de classement qui détermine si les sources internes ou externes l'emportent. La récupération hybride résout les conflits entre les documents obsolètes et les jour

Illustration de la récupération hybride fusionnant les sources de données web et internes
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Les agents IA ont acquis la capacité d'effectuer des recherches web en direct, ce qui leur évite d'inventer des URL lorsqu'ils ont besoin d'informations actualisées. Cependant, le simple fait de récupérer des résultats en direct ne résout pas le défi fondamental consistant à décider quelle source croire lorsque les données du web entrent en conflit avec les registres internes de l'entreprise. Le véritable obstacle technique s'est déplacé de la génération vers la récupération, nécessitant des systèmes capables de classer les preuves simultanément selon leur fraîcheur, leur autorité et les contrôles d'accès.

Ce qui s'est passé

Pendant des mois, les agents IA ont été confrontés à un mode de défaillance spécifique : lorsqu'on leur demandait une documentation actuelle, ils estimaient des URL comme docs.example.com/v4.2/auth, échouaient à les charger et se repliaient sur des données d'entraînement obsolètes. Pour corriger cela, des fournisseurs d'infrastructure comme Cloudflare ont introduit des API de recherche web dans leurs passerelles IA (AI Gateways), permettant aux agents de récupérer des résultats en direct avec des liens vers les sources. Bien que cela résolve le problème de la découverte de pages fraîches, cela introduit une nouvelle complexité. Les agents opèrent désormais avec deux pools distincts de preuves : les résultats publics du web et les données privées internes.

Ces deux pools diffèrent considérablement en structure et en fiabilité. Les résultats web sont souvent vieux de quelques heures mais varient en qualité, mélangeant documentation officielle et fils de discussion sur des forums. Les données internes sont organisées et font autorité, mais peuvent être obsolètes depuis des mois sans que personne ne s'en rende compte. Lorsqu'un agent rencontre un conflit, par exemple un journal des modifications d'un fournisseur datant d'hier contredisant un article de base de connaissances interne rédigé au printemps dernier, il lui manque la logique inhérente pour déterminer quelle source l'emporte. Cette décision ne peut pas être laissée seule au modèle de langage ; elle doit intervenir dans la couche de récupération où les règles métier et les permissions sont appliquées.

L'approche naïve consistant à concaténer les résultats de recherche web et internes avant de les envoyer au modèle échoue en production. À mesure que les volumes de données augmentent, cette méthode conduit à des conflits non résolus où le modèle fusionne des sources contradictoires ou privilégie des documents internes obsolètes parce qu'ils correspondent plus étroitement à la formulation de l'utilisateur. De plus, appliquer les contrôles d'accès après la récupération risque de faire fuiter des tickets internes sensibles dans le prompt, tandis que les appliquer trop brutalement élimine un contexte utile. La solution nécessite un système de récupération unifié qui gère la correspondance lexicale, la similarité sémantique et le filtrage structuré dans une seule requête.

Comment ça fonctionne

La récupération hybride adresse ces problèmes en combinant la correspondance par mots-clés, la recherche vectorielle et les filtres structurés au sein d'une collection indexée unique. La correspondance par mots-clés est essentielle pour capturer les noms exacts de produits, les codes d'erreur et les chaînes de version, que les modèles d'embedding manquent souvent. La recherche vectorielle capture les reformulations et l'intention de l'utilisateur. Les filtres structurés imposent des contraintes strictes telles que le droit d'accès client, la version logicielle et la région. En exécutant ces opérations conjointement, le système garantit que seules les données pertinentes et autorisées entrent dans la phase de classement.

Le classement dans ce contexte va au-delà des simples scores de similarité. Les systèmes efficaces utilisent un classement multiphase pour pondérer explicitement la fraîcheur, l'autorité de la source et les règles métier. Par exemple, un profil de classement pourrait favoriser la documentation officielle plutôt que les fils de forum et prioriser le journal des modifications de la semaine dernière par rapport à une page wiki vieille d'un an. La fraîcheur et l'autorité sont traitées comme des entrées explicites et inspectables du score, plutôt que comme des caractéristiques implicites que le modèle doit inférer. Cela permet aux ingénieurs d'ajuster la vitesse à laquelle les documents anciens perdent en pertinence, assurant que les preuves les plus actuelles et faisant autorité remontent en tête.

Les résultats web sont traités comme des candidats plutôt que comme des réponses finales. Selon l'architecture, les résultats externes peuvent être indexés dans une collection partagée aux côtés des données internes, ou récupérés séparément puis fusionnés ultérieurement. Dans tous les cas, l'objectif est d'évaluer toutes les preuves contre un ensemble cohérent de critères avant de sélectionner ce qui sera inclus dans le prompt. Cette approche réduit la charge de la fenêtre de contexte en envoyant au modèle moins de pièces de preuve, mais mieux choisies, ce qui améliore à la fois la latence et la qualité des réponses.

Détails clés

  • La recherche web en direct empêche les agents de deviner des URL, mais crée un problème de classement entre les données externes fraîches et les registres internes obsolètes.
  • La concaténation des résultats de recherche échoue car les modèles ne peuvent pas résoudre de manière fiable les conflits entre des sources contradictoires sans signaux de classement explicites.
  • La récupération hybride combine la correspondance par mots-clés pour les termes exacts, la recherche vectorielle pour l'intention et les filtres structurés pour les permissions dans une seule requête.
  • Le classement multiphase permet aux ingénieurs de pondérer explicitement la fraîcheur et l'autorité de la source, garantissant que les journaux des modifications récents battent les articles de base de connaissances plus anciens.
  • Les contrôles d'accès doivent être appliqués lors de la récupération pour empêcher les données internes sensibles d'entrer dans le prompt tout en conservant un contexte utile.
  • Les systèmes doivent gérer des volumes d'appels élevés, car les agents peuvent déclencher des dizaines d'appels de récupération par tâche, nécessitant une inférence à faible latence proche des données.

Pourquoi c'est important

Pour les équipes développant des agents IA, ce changement signifie que l'infrastructure de recherche n'est plus une commodité, mais un composant central de la fiabilité des agents. La qualité de la réponse d'un agent dépend moins des capacités génératives du modèle de langage que de la précision de la couche de récupération. Les ingénieurs doivent concevoir des systèmes capables de gérer le volume et la complexité des workflows des agents, où chaque appel de récupération se trouve sur le chemin critique menant à la réponse finale. Sans une récupération hybride robuste, les agents continueront à fournir des réponses confiantes mais incorrectes basées sur des données obsolètes ou non autorisées.

Cela change également la façon dont les organisations gèrent leurs connaissances internes. Les documents doivent être stockés avec des métadonnées telles que les dates de publication, les types de source et les balises de version pour permettre un classement efficace. Simplement déverser du texte dans une base de données vectorielle est insuffisant. Les équipes doivent traiter la récupération comme un problème d'ingénierie mesurable, en suivant si la bonne preuve arrive dans les premiers résultats indépendamment de la formulation du modèle. Cela nécessite des tests de charge au volume des agents, simulant les multiples étapes de récupération qu'un agent effectue durant une seule tâche.

Ce que vous pouvez faire

  • Stockez les dates de publication et les types de source sur chaque document, interne ou externe, pour permettre un classement basé sur la fraîcheur.
  • Incluez des signaux lexicaux dans votre pipeline de récupération pour capturer les numéros de version exacts et les codes d'erreur que les embeddings manquent.
  • Appliquez les filtres de permission au moment de la requête plutôt qu'en post-traitement pour garantir que les données sensibles n'atteignent jamais le modèle.
  • Envoyez uniquement les passages les plus pertinents au modèle, classés par fragment (chunk), plutôt que des documents entiers pour réduire le bruit contextuel.
  • Construisez un jeu de test de questions réelles posées aux agents pour mesurer la précision de la récupération séparément de la qualité de la génération.
  • Testez la charge de votre système de récupération avec le nombre réel d'appels effectués par un agent par tâche, et non juste une requête par demande.
  • #ai agents
  • #retrieval augmented generation
  • #hybrid search
  • #vector databases
  • #software engineering

Outils de la Boutique Bytechap

Continuer la lecture

Tous les articles