Mit KI entwickeln

Warum hybride Suche für KI-Agenten besser ist als einfache Websuche

Live-Websuche hilft Agenten, aktuelle Daten zu finden, aber die Ranking-Logik entscheidet, ob interne oder externe Quellen gewinnen. Hybride Suche löst Konflikte zwischen veralteten Dokumenten und aktuellen Changelogs.

Illustration der hybriden Suche, die Web- und interne Datenquellen zusammenführt
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

KI-Agenten haben die Fähigkeit erhalten, Live-Websuchen durchzuführen, was verhindert, dass sie URLs halluzinieren, wenn sie aktuelle Informationen benötigen. Das bloße Abrufen von Live-Ergebnissen löst jedoch nicht das Kernproblem: Welche Quelle ist vertrauenswürdig, wenn Webdaten mit internen Unternehmensaufzeichnungen in Konflikt stehen? Die eigentliche technische Herausforderung hat sich von der Generierung zur Suche verlagert. Es sind Systeme erforderlich, die Beweise gleichzeitig nach Aktualität, Autorität und Zugriffsrechten bewerten können.

Was passiert ist

Monatelang kämpften KI-Agenten mit einem spezifischen Fehlerbild: Wenn sie nach aktueller Dokumentation gefragt wurden, rieten sie auf URLs wie docs.example.com/v4.2/auth, konnten diese nicht laden und fielen auf veraltete Trainingsdaten zurück. Um dies zu beheben, führten Infrastruktur-Anbieter wie Cloudflare Web Search APIs in ihre AI Gateways ein, damit Agenten Live-Ergebnisse mit Quelllinks abrufen können. Dies löst zwar das Problem, frische Seiten zu finden, führt aber zu einer neuen Komplexität. Agenten arbeiten nun mit zwei unterschiedlichen Pools an Beweismitteln: öffentlichen Web-Ergebnissen und privaten internen Daten.

Diese beiden Pools unterscheiden sich erheblich in Struktur und Zuverlässigkeit. Web-Ergebnisse sind oft nur Stunden alt, variieren aber stark in der Qualität und mischen offizielle Dokumentation mit Forenthemen. Interne Daten sind kuratiert und autoritativ, können aber ohne dass jemand es bemerkt, Monate alt sein. Wenn ein Agent auf einen Konflikt stößt – etwa wenn ein Vendor-Changelog von gestern einen internen Knowledge-Base-Artikel vom letzten Frühjahr widerspricht –, fehlt ihm die inhärente Logik, um zu entscheiden, welche Quelle gewinnt. Diese Entscheidung kann nicht allein dem Sprachmodell überlassen werden; sie muss in der Retrieval-Schicht getroffen werden, wo Geschäftsregeln und Berechtigungen durchgesetzt werden.

Der naive Ansatz, Web- und interne Suchergebnisse vor der Übergabe an das Modell zu konkatenieren, scheitert im Produktionsbetrieb. Mit wachsenden Datenmengen führt diese Methode zu ungelösten Konflikten, bei denen das Modell widersprüchliche Quellen vermischt oder veraltete interne Dokumente priorisiert, weil sie näher am Wortlaut des Nutzers liegen. Darüber hinaus birgt das Anwenden von Zugriffssteuerungen nach der Suche das Risiko, sensible interne Tickets in den Prompt zu leaken, während eine zu grobe Anwendung nützlichen Kontext verwirft. Die Lösung erfordert ein einheitliches Retrieval-System, das lexikalische Übereinstimmung, semantische Ähnlichkeit und strukturierte Filterung in einer einzigen Abfrage handhabt.

Wie es funktioniert

Hybride Suche adressiert diese Probleme, indem sie Keyword-Matching, Vektor-Suche und strukturierte Filter innerhalb einer indizierten Sammlung kombiniert. Keyword-Matching ist entscheidend, um exakte Produktnamen, Fehlercodes und Versionsstrings zu erfassen, die Embedding-Modelle oft übersehen. Vektor-Suche erfasst Paraphrasen und Nutzerintentionen. Strukturierte Filter erzwingen harte Constraints wie Kundenberechtigung, Softwareversion und Region. Durch die gemeinsame Ausführung dieser Operationen stellt das System sicher, dass nur relevante und zulässige Daten in die Ranking-Phase gelangen.

Ranking geht in diesem Kontext über einfache Ähnlichkeitswerte hinaus. Effektive Systeme nutzen mehrphasiges Ranking, um Aktualität, Quellenautorität und Geschäftsregeln explizit zu gewichten. Ein Ranking-Profil könnte beispielsweise offizielle Dokumentation gegenüber Forenthemen bevorzugen und den Changelog der letzten Woche über eine ein Jahr alte Wiki-Seite stellen. Aktualität und Autorität werden als explizite, überprüfbare Eingaben für den Score behandelt, nicht als implizite Merkmale, die das Modell inferieren muss. Dies ermöglicht es Ingenieuren, einzustellen, wie schnell ältere Dokumente an Relevanz verlieren, sodass die aktuellsten und autoritativsten Beweise nach oben steigen.

Web-Ergebnisse werden als Kandidaten betrachtet, nicht als endgültige Antworten. Je nach Architektur können externe Ergebnisse zusammen mit internen Daten in eine gemeinsame Sammlung indexiert oder separat abgerufen und später fusioniert werden. In beiden Fällen ist das Ziel, alle Beweise gegen einen konsistenten Satz von Kriterien auszuwerten, bevor ausgewählt wird, was in den Prompt gelangt. Dieser Ansatz reduziert die Last im Kontextfenster, indem weniger, aber besser ausgewählte Beweisstücke an das Modell gesendet werden, was sowohl Latenz als auch Antwortqualität verbessert.

Wichtige Details

  • Live-Websuche verhindert, dass Agenten URLs raten, schafft aber ein Ranking-Problem zwischen frischen externen Daten und veralteten internen Aufzeichnungen.
  • Das Konkatenieren von Suchergebnissen scheitert, da Modelle Konflikte zwischen widersprüchlichen Quellen ohne explizite Ranking-Signale nicht zuverlässig lösen können.
  • Hybride Suche kombiniert Keyword-Matching für exakte Begriffe, Vektor-Suche für Intentionen und strukturierte Filter für Berechtigungen in einer Abfrage.
  • Mehrphasiges Ranking ermöglicht es Ingenieuren, Aktualität und Quellenautorität explizit zu gewichten, sodass neuere Changelogs ältere Knowledge-Base-Artikel schlagen.
  • Zugriffssteuerungen müssen zum Zeitpunkt der Suche angewendet werden, um zu verhindern, dass sensible interne Daten in den Prompt gelangen, während nützlicher Kontext erhalten bleibt.
  • Systeme müssen hohe Aufrufvolumina bewältigen, da Agenten pro Aufgabe Dutzende von Retrieval-Aufrufen auslösen können, was Low-Latency-Inferenz nahe an den Daten erfordert.

Warum das wichtig ist

Für Teams, die KI-Agenten entwickeln, bedeutet dieser Wandel, dass Suchinfrastruktur kein Commodity-Produkt mehr ist, sondern ein Kernbestandteil der Agenten-Zuverlässigkeit. Die Qualität der Antwort eines Agenten hängt weniger von den generativen Fähigkeiten des Sprachmodells ab als vielmehr von der Präzision der Retrieval-Schicht. Ingenieure müssen Systeme entwerfen, die das Volumen und die Komplexität von Agenten-Workflows bewältigen können, bei denen jeder Retrieval-Aufruf auf dem kritischen Pfad zur finalen Antwort liegt. Ohne robuste hybride Suche werden Agenten weiterhin selbstbewusste, aber falsche Antworten basierend auf veralteten oder nicht autorisierten Daten liefern.

Dies verändert auch, wie Organisationen ihr internes Wissen verwalten. Dokumente müssen mit Metadaten wie Veröffentlichungsdatum, Quellentyp und Version-Tags gespeichert werden, um effektives Ranking zu ermöglichen. Das bloße Dumpen von Text in eine Vektor-Datenbank reicht nicht aus. Teams müssen Retrieval als messbares ingenieurtechnisches Problem betrachten und verfolgen, ob die richtigen Beweise unabhängig von der Formulierung des Modells in den Top-Ergebnissen landen. Dies erfordert Lasttests beim tatsächlichen Agentenvolumen, wobei die mehreren Retrieval-Schritte simuliert werden, die ein Agent während einer einzelnen Aufgabe durchläuft.

Was Sie tun können

  • Speichern Sie Veröffentlichungsdaten und Quellentypen für jedes Dokument, intern oder extern, um rankingbasierte Aktualitätsbewertung zu ermöglichen.
  • Nehmen Sie lexikalische Signale in Ihre Retrieval-Pipeline auf, um exakte Versionsnummern und Fehlercodes zu erfassen, die Embeddings übersehen.
  • Wenden Sie Berechtigungsfilter zum Zeitpunkt der Abfrage an, statt Post-Processing zu nutzen, um sicherzustellen, dass sensible Daten niemals das Modell erreichen.
  • Senden Sie nur die relevantesten Passagen, geordnet nach Chunk, an das Modell, statt ganzer Dokumente, um Kontextrauschen zu reduzieren.
  • Erstellen Sie einen Testdatensatz mit echten Agenten-Fragen, um die Retrieval-Genauigkeit getrennt von der Generierungsqualität zu messen.
  • Führen Sie Lasttests für Ihr Retrieval-System mit der tatsächlichen Anzahl der Aufrufe durch, die ein Agent pro任务 tätigt, nicht nur mit einer Abfrage pro Anfrage.
  • #ai agents
  • #retrieval augmented generation
  • #hybrid search
  • #vector databases
  • #software engineering

Tools aus dem Bytechap-Shop

Weiterlesen

Alle Artikel