Apples gelerntes Routing senkt RAG-Latenz durch Ersetzen der Zentroidensuche

Forscher des Apple Machine Learning Research haben eine neue Methode vorgestellt, um die Suche nach dem maximalen Skalarprodukt (MIPS) zu beschleunigen. MIPS ist das Kernstück hinter Empfehlungssystemen und Retrieval-Augmented Generation (RAG). Die Arbeit wurde in einem Paper auf der ICML 2026 präsentiert und ersetzt traditionelle geometrische Indexierung durch kleine, offline trainierte neuronale Netze, die die spezifische Verteilung der Benutzerabfragen lernen. Dieser Ansatz reduziert die Latenz erheblich und verbessert gleichzeitig die Recall-Genauigkeit im Vergleich zum standardmäßigen zentroidbasierten Routing.

Was passiert ist

Die Suche nach dem maximalen Skalarprodukt ist rechenintensiv, wenn Datenbanken Millionen von hochdimensionalen Vektoren enthalten. Traditionelle approximative Methoden beschleunigen diesen Prozess, indem sie Schlüssel clustern und Zentroide zum Routing der Abfragen verwenden. Diese geometrischen Annahmen scheitern jedoch oft, da sich Benutzerabfragen strukturell von den kuratierten Dokumenten unterscheiden, die sie suchen. Das Team von Apple beobachtete, dass generische, abfrageunabhängige Methoden die stabile und gut charakterisierte Verteilung der Abfragen in Produktionsumgebungen ignorieren und somit ungenutzte Leistungsgewinne zurücklassen.

Um dies anzugehen, trainierten die Forscher kleine neuronale Netze offline auf einer festen Datenbank mit Schlüsseln. Diese Netze lernen, Abfragen effizienter ihren besten Übereinstimmungen zuzuordnen als durch erschöpfenden Vergleich oder einfaches Zentroid-Routing. Das Team evaluierte zwei Architekturen, SupportNet und KeyNet, unter Verwendung des Natural Questions Benchmarks, der Fragen aus dem Allgemeinwissen mit etwa 2,6 Millionen eindeutigen Textpassagen paart. Die Ergebnisse zeigten, dass gelernte Router bei geringerer Latenz einen höheren Recall erzielen können, indem sie die spezifische Geometrie der Abfrageverteilung nutzen, anstatt sich auf breite geometrische Approximationen zu verlassen.

Wie es funktioniert

Der zentrale Gedanke basiert darauf, MIPS im Kontext der konvexen Analysis zu betrachten. Die Funktion, die eine Abfrage auf ihr größtes Skalarprodukt mit einem beliebigen Schlüssel in einer Menge abbildet, ist als Stützfunktion bekannt. Diese Funktion ist konvex, was bedeutet, dass sie durch input-convex neural networks (ICNNs) approximiert werden kann. Darüber hinaus liefert der Gradient dieser Stützfunktion an einem gegebenen Abfragepunkt den am besten passenden Schlüsselvektor. Indem ein neuronales Netz darauf trainiert wird, diese Stützfunktion oder ihren Gradienten nachzubilden, kann das System optimale Übereinstimmungen mit weitaus geringerem Rechenaufwand vorhersagen als durch Durchsuchen der gesamten Datenbank.

Die Forscher entwickelten zwei spezifische Modelle, um diese mathematische Struktur zu nutzen. SupportNet lernt die Stützfunktion direkt für jeden Datencluster, sodass es beantworten kann, wie gut der beste Schlüssel innerhalb eines Clusters zu einer Abfrage passt. Dies ermöglicht ein genaueres Routing als alleinige Zentroiddistanzen. KeyNet hingegen lernt, den am besten passenden Schlüsselvektor direkt auszugeben. Es fungiert als Abfrage-Rewriter, der die ursprüngliche Abfrage in einen Vektor transformiert, der im Einbettungsraum näher am Ziel liegt, bevor er an einen Standard-Suchindex übergeben wird.

Wichtige Details

• Die Forschung wurde von Apple Machine Learning Research auf der ICML 2026 präsentiert.
• SupportNet-Modelle erreichten eine Routing-Recall von 95 % bei einer 1,9-fachen Geschwindigkeit gegenüber dem Zentroid-Routing (1,74 ms vs. 3,36 ms).
• KeyNet reduzierte die Zeit, um einen Recall von 99 % zu erreichen, um bis zu das 8-Fache im Vergleich zur Rohabfragesuche (0,23 ms vs. 1,8 ms).
• Die Modelle wurden auf dem Natural Questions Dataset trainiert, das etwa 2,6 Millionen eindeutige Textpassagen enthält.
• SupportNets wurden in Größen getestet, die von 1 % bis 20 % der Datenbankgröße reichen, mit einer Tiefe von 16 Schichten.
• Von KeyNet transformierte Abfragen erreichten einen Recall von 99 %, während nur 0,009 % der Datenbank gescannt wurden, im Vergleich zu 0,10 % bei Rohabfragen.

Warum das wichtig ist

Für Ingenieure, die RAG-Systeme entwickeln, stellt die Kluft zwischen kurzen Benutzerfragen und langen Dokument-Einbettungen einen persistenten Engpass dar. Standard-Inverted-File-Indizes verlassen sich auf Zentroide, die die Streuung der Schlüssel innerhalb eines Clusters nicht berücksichtigen, was zu verpassten Nachbarn und unnötiger Rechenverschwendung führt. Durch das Lernen der spezifischen Abfrageverteilung können Entwickler Rechenressourcen effizienter umleiten und sicherstellen, dass die relevantesten Dokumente ohne erschöpfende Suchen abgerufen werden.

Diese Methode bietet auch einen praktischen Weg zur Integration in bestehende Infrastrukturen. KeyNet kann als Vorverarbeitungsschritt für Standard-Approximate-Search-Indizes wie FAISS funktionieren, ohne dass Änderungen am zugrunde liegenden Speichersystem erforderlich sind. Dies bedeutet, dass Teams erhebliche Reduzierungen der Latenz und Verbesserungen der Genauigkeit erzielen können, indem sie eine leichte neuronale Netzwerkschicht vor ihre aktuelle Retrieval-Pipeline setzen, anstatt ihre gesamte Vektorsucharchitektur neu aufzubauen.

Was Sie tun können

• Evaluieren Sie, ob Ihre Produktions-Abfrageverteilung stabil und gut charakterisiert ist, da diese Methode auf Offline-Training mit repräsentativen Daten beruht.
• Erwägen Sie die Implementierung von SupportNet, um das zentroidbasierte Routing in Ihrem Inverted File Index zu ersetzen, wenn Routing-Fehler den Recall beeinträchtigen.
• Verwenden Sie KeyNet als Query-Rewriting-Ebene vor Ihrem bestehenden Vektorsuchindex, um die Anzahl der beim Abruf gescannten Schlüssel zu reduzieren.
• Trainieren Sie kleine neuronale Netze offline mittels Regression auf gesampelte Abfragen und deren Ground-Truth-Best-Matches, um die Rechenkosten zu amortisieren.
• Benchmarken Sie den Trade-off zwischen Modellgröße und Latenz, wobei selbst kleine Modelle (1 % der Datenbankgröße) erhebliche Beschleunigungen gegenüber Baseline-Methoden bieten.
• Testen Sie den Konsistenzverlust, der aus dem Satz von Euler abgeleitet ist, beim Training von KeyNet-Modellen, um die Vorhersagen geometrisch fundiert zu halten.