Le routage appris d'Apple réduit la latence du RAG en remplaçant la recherche par centroïde

Les chercheurs d'Apple Machine Learning Research ont introduit une nouvelle méthode pour accélérer la recherche du produit scalaire maximal (MIPS), le moteur central des systèmes de recommandation et de la génération augmentée par récupération (RAG). Publiés dans un article présenté à ICML 2026, ces travaux remplacent l'indexation géométrique traditionnelle par de petits réseaux de neurones entraînés hors ligne qui apprennent la distribution spécifique des requêtes utilisateurs. Cette approche réduit considérablement la latence tout en améliorant la précision du rappel par rapport au routage standard basé sur les centroïdes.

Ce qui s'est passé

La recherche du produit scalaire maximal est coûteuse en calcul lorsque les bases de données contiennent des millions de vecteurs de haute dimension. Les méthodes approximatives traditionnelles accélèrent ce processus en regroupant les clés et en utilisant des centroïdes pour router les requêtes, mais ces hypothèses géométriques échouent souvent car les requêtes des utilisateurs diffèrent structurellement des documents organisés qu'ils recherchent. L'équipe d'Apple a observé que les méthodes génériques, indépendantes des requêtes, ignorent la distribution stable et bien caractérisée des requêtes dans les environnements de production, laissant des gains de performance inexploités.

Pour remédier à cela, les chercheurs ont entraîné de petits réseaux de neurones hors ligne sur une base de données fixe de clés. Ces réseaux apprennent à mapper les requêtes vers leurs meilleures correspondances plus efficacement qu'une comparaison exhaustive ou un simple routage par centroïde. L'équipe a évalué deux architectures, SupportNet et KeyNet, en utilisant le benchmark Natural Questions, qui associe des questions de culture générale à environ 2,6 millions de passages uniques. Les résultats ont démontré que les routeurs appris pouvaient atteindre un rappel plus élevé avec une latence inférieure en exploitant la géométrie spécifique de la distribution des requêtes plutôt qu'en se reposant sur des approximations géométriques larges.

Comment cela fonctionne

L'idée centrale repose sur la vision du MIPS à travers le prisme de l'analyse convexe. La fonction qui mappe une requête vers son plus grand produit scalaire avec n'importe quelle clé d'un ensemble est connue sous le nom de fonction de support. Cette fonction est convexe, ce qui signifie qu'elle peut être approximée par des réseaux de neurones convexes d'entrée (ICNNs). De plus, le gradient de cette fonction de support en un point de requête donné renvoie le vecteur de clé correspondant le mieux. En entraînant un réseau de neurone à imiter cette fonction de support ou son gradient, le système peut prédire les correspondances optimales avec un coût de calcul bien inférieur à celui d'une recherche dans toute la base de données.

Les chercheurs ont développé deux modèles spécifiques pour exploiter cette structure mathématique. SupportNet apprend directement la fonction de support pour chaque cluster de données, lui permettant de répondre à la question de savoir dans quelle mesure la meilleure clé à l'intérieur d'un cluster correspond à une requête. Cela permet un routage plus précis que la seule distance au centroïde. KeyNet, inversement, apprend à sortir directement le vecteur de clé correspondant le mieux. Il agit comme un réécritureur de requêtes, transformant la requête originale en un vecteur plus proche de la cible dans l'espace d'embedding avant de le passer à un index de recherche standard.

Détails clés

• La recherche a été présentée à ICML 2026 par Apple Machine Learning Research.
• Les modèles SupportNet ont atteint un rappel de routage de 95 % 1,9 fois plus vite que le routage par centroïde (1,74 ms contre 3,36 ms).
• KeyNet a réduit le temps nécessaire pour atteindre 99 % de rappel jusqu'à 8 fois par rapport à la recherche brute sur requête (0,23 ms contre 1,8 ms).
• Les modèles ont été entraînés sur le jeu de données Natural Questions contenant environ 2,6 millions de passages uniques.
• Les SupportNets ont été testés avec des tailles allant de 1 % à 20 % de la taille de la base de données, avec une profondeur de 16 couches.
• Les requêtes transformées par KeyNet ont atteint 99 % de rappel en ne scannant que 0,009 % de la base de données, contre 0,10 % pour les requêtes brutes.

Pourquoi c'est important

Pour les ingénieurs qui construisent des systèmes RAG, l'écart entre les courtes questions des utilisateurs et les longs embeddings de documents crée un goulot d'étranglement persistant. Les index inversés standards dépendent de centroïdes qui ne tiennent pas compte de la dispersion des clés au sein d'un cluster, entraînant des voisins manqués et un gaspillage inutile de ressources de calcul. En apprenant la distribution spécifique des requêtes, les développeurs peuvent rediriger les ressources de calcul plus efficacement, garantissant que les documents les plus pertinents sont récupérés sans recherches exhaustives.

Cette méthode offre également une voie pratique pour l'intégration avec l'infrastructure existante. KeyNet peut fonctionner comme une étape de prétraitement pour les indices de recherche approximative standards comme FAISS, sans nécessiter de modifications du système de stockage sous-jacent. Cela signifie que les équipes peuvent obtenir des réductions significatives de latence et des améliorations de précision en ajoutant une couche légère de réseau de neurones devant leur pipeline de récupération actuel, plutôt que de reconstruire toute leur architecture de recherche vectorielle.

Ce que vous pouvez faire

• Évaluez si la distribution de vos requêtes de production est stable et bien caractérisée, car cette méthode repose sur un entraînement hors ligne sur des données représentatives.
• Envisagez d'implémenter SupportNet pour remplacer le routage basé sur les centroïdes dans votre index inversé si les erreurs de routage impactent le rappel.
• Utilisez KeyNet comme couche de réécriture de requêtes avant votre index de recherche vectorielle existant pour réduire le nombre de clés scannées lors de la récupération.
• Entraînez de petits réseaux de neurones hors ligne en utilisant la régression sur des échantillons de requêtes et leurs meilleures correspondances véritables pour amortir le coût de calcul.
• Effectuez des benchmarks sur le compromis entre la taille du modèle et la latence, notant que même les petits modèles (1 % de la taille de la base de données) offrent des accélérations significatives par rapport aux méthodes de référence.
• Testez la perte de cohérence dérivée du théorème d'Euler lors de l'entraînement des modèles KeyNet pour garder les prédictions géométriquement fondées.