El enrutamiento aprendido de Apple reduce la latencia de RAG al reemplazar la búsqueda por centroide

Investigadores de Apple Machine Learning Research han presentado un nuevo método para acelerar la búsqueda del producto interno máximo (MIPS), el motor central detrás de los sistemas de recomendación y la generación aumentada por recuperación (RAG). Publicado en un artículo presentado en ICML 2026, este trabajo reemplaza la indexación geométrica tradicional con pequeñas redes neuronales entrenadas fuera de línea que aprenden la distribución específica de las consultas de los usuarios. Este enfoque reduce significativamente la latencia mientras mejora la precisión de recuperación en comparación con el enrutamiento estándar basado en centroides.

Qué ocurrió

La búsqueda del producto interno máximo es computacionalmente costosa cuando las bases de datos contienen millones de vectores de alta dimensión. Los métodos aproximados tradicionales aceleran este proceso agrupando claves y utilizando centroides para enrutar las consultas, pero estas suposiciones geométricas a menudo fallan porque las consultas de los usuarios difieren estructuralmente de los documentos curados que buscan. El equipo de Apple observó que los métodos genéricos e independientes de la consulta ignoran la distribución estable y bien caracterizada de las consultas en entornos de producción, dejando sin aprovechar ganancias de rendimiento.

Para abordar esto, los investigadores entrenaron pequeñas redes neuronales fuera de línea sobre una base de datos fija de claves. Estas redes aprenden a mapear las consultas a sus mejores coincidencias de manera más eficiente que la comparación exhaustiva o el simple enrutamiento por centroide. El equipo evaluó dos arquitecturas, SupportNet y KeyNet, utilizando el benchmark Natural Questions, que empareja preguntas de conocimiento general con aproximadamente 2,6 millones de pasajes únicos. Los resultados demostraron que los enrutadores aprendidos podían lograr una mayor recuperación con menor latencia al aprovechar la geometría específica de la distribución de consultas en lugar de depender de aproximaciones geométricas amplias.

Cómo funciona

La idea central se basa en ver MIPS a través del lente del análisis convexo. La función que mapea una consulta a su mayor producto interno con cualquier clave en un conjunto se conoce como función de soporte. Esta función es convexa, lo que significa que puede ser aproximada por redes neuronales convexas de entrada (ICNNs). Además, el gradiente de esta función de soporte en cualquier punto de consulta dado devuelve el vector de clave con la mejor coincidencia. Al entrenar una red neuronal para imitar esta función de soporte o su gradiente, el sistema puede predecir coincidencias óptimas con mucho menos costo computacional que buscar en toda la base de datos.

Los investigadores desarrollaron dos modelos específicos para explotar esta estructura matemática. SupportNet aprende directamente la función de soporte para cada clúster de datos, permitiendo responder qué tan bien coincide la mejor clave dentro de un clúster con una consulta. Esto habilita un enrutamiento más preciso que la distancia al centroide sola. Por el contrario, KeyNet aprende a emitir directamente el vector de clave con la mejor coincidencia. Actúa como un reescritor de consultas, transformando la consulta original en un vector más cercano al objetivo en el espacio de embeddings antes de pasarla a un índice de búsqueda estándar.

Detalles clave

• La investigación fue presentada en ICML 2026 por Apple Machine Learning Research.
• Los modelos SupportNet lograron un 95% de recuperación de enrutamiento 1,9 veces más rápido que el enrutamiento por centroide (1,74 ms frente a 3,36 ms).
• KeyNet redujo el tiempo para alcanzar el 99% de recuperación hasta 8 veces en comparación con la búsqueda de consultas crudas (0,23 ms frente a 1,8 ms).
• Los modelos fueron entrenados en el conjunto de datos Natural Questions que contiene aproximadamente 2,6 millones de pasajes únicos.
• Las SupportNets fueron probadas en tamaños que van desde el 1% hasta el 20% del tamaño de la base de datos, con profundidades de 16 capas.
• Las consultas transformadas por KeyNet alcanzaron el 99% de recuperación mientras escaneaban solo el 0,009% de la base de datos, comparado con el 0,10% para las consultas crudas.

Por qué importa

Para los ingenieros que construyen sistemas RAG, la brecha entre las preguntas cortas de los usuarios y las embeddings largas de documentos crea un cuello de botella persistente. Los índices invertidos estándar dependen de centroides que no tienen en cuenta la dispersión de las claves dentro de un clúster, lo que lleva a vecinos perdidos y desperdicio innecesario de cómputo. Al aprender la distribución específica de las consultas, los desarrolladores pueden redirigir los recursos de cómputo de manera más eficiente, asegurando que los documentos más relevantes sean recuperados sin búsquedas exhaustivas.

Este método también ofrece un camino práctico para integrarse con la infraestructura existente. KeyNet puede funcionar como un paso de preprocesamiento para índices de búsqueda aproximada estándar como FAISS, sin requerir cambios en el sistema de almacenamiento subyacente. Esto significa que los equipos pueden lograr reducciones significativas de latencia y mejoras de precisión agregando una capa ligera de red neuronal delante de su actual pipeline de recuperación, en lugar de reconstruir toda su arquitectura de búsqueda vectorial.

Qué puedes hacer

• Evalúa si la distribución de tus consultas de producción es estable y bien caracterizada, ya que este método depende del entrenamiento fuera de línea sobre datos representativos.
• Considera implementar SupportNet para reemplazar el enrutamiento basado en centroides en tu índice de archivo invertido si los errores de enrutamiento están impactando la recuperación.
• Usa KeyNet como una capa de reescritura de consultas antes de tu índice de búsqueda vectorial existente para reducir el número de claves escaneadas durante la recuperación.
• Entrena pequeñas redes neuronales fuera de línea usando regresión sobre consultas muestreadas y sus mejores coincidencias verdaderas para amortizar el costo computacional.
• Realiza pruebas de referencia del equilibrio entre el tamaño del modelo y la latencia, notando que incluso modelos pequeños (1% del tamaño de la base de datos) ofrecen aceleraciones significativas sobre los métodos base.
• Prueba la pérdida de consistencia derivada del teorema de Euler al entrenar modelos KeyNet para mantener las predicciones geométricamente fundamentadas.