El entrenamiento consciente del agrupamiento de tokens reduce el almacenamiento vectorial manteniendo la calidad de búsqueda
Un nuevo método de entrenamiento enseña a los codificadores multi-vectoriales a preservar las señales de recuperación tras comprimir los vectores de documentos, reduciendo el almacenamiento en un 75% con una pérdida mínima de calidad.
Traducido automáticamente del original en inglés.
Hugging Face publicó el 11 de noviembre de 2026 una guía técnica que detalla un método llamado entrenamiento consciente del agrupamiento de tokens para modelos de incrustación multi-vectoriales. Este enfoque aborda los altos costos de almacenamiento de modelos como ColBERT enseñando a los codificadores a mantener la precisión de recuperación incluso después de fusionar agresivamente vectores de tokens similares.
Qué ocurrió
Los modelos de recuperación multi-vectorial asignan un vector separado a cada token de un documento, lo que permite que diferentes partes de una consulta coincidan con secciones específicas del texto. Si bien esto ofrece alta expresividad, crea requisitos masivos de almacenamiento. Un corpus de un millón de documentos puede generar fácilmente cientos de millones de vectores, consumiendo gigabytes de espacio incluso con cuantización.
Para reducir esta huella, los desarrolladores suelen utilizar el agrupamiento de tokens, que fusiona vectores de tokens similares en representaciones únicas. Sin embargo, el agrupamiento estándar se aplica después del entrenamiento, lo que significa que el modelo nunca aprendió a manejar la pérdida de información causada por la fusión. Esto suele conducir a una degradación de la calidad de búsqueda, ya que se borran las distinciones sutiles entre tokens.
La nueva guía demuestra cómo integrar el agrupamiento directamente en el bucle de entrenamiento. Al optimizar el modelo para funcionar bien tanto en representaciones originales como agrupadas simultáneamente, el codificador aprende a agrupar conceptos relacionados de manera que sobrevivan a la compresión. El resultado es un modelo que conserva casi todo su poder de recuperación mientras almacena significativamente menos vectores por documento.
Cómo funciona
El mecanismo central se basa en el Agrupamiento Jerárquico de Tokens, que utiliza la agrupación jerárquica de Ward para agrupar incrustaciones de tokens similares. Comenzando con tokens individuales, el algoritmo fusiona repetidamente los dos grupos que causan el menor aumento en la varianza interna. Esto crea una jerarquía de clústeres, permitiendo a los desarrolladores elegir un nivel de compresión, como conservar solo una cuarta parte de los vectores originales.
Durante el entrenamiento, el sistema aplica una función de pérdida combinada. La mitad de la pérdida proviene de la recuperación con incrustaciones completas y sin agrupar, asegurando que el modelo aprenda representaciones ricas. La otra mitad proviene de la recuperación con incrustaciones agrupadas, forzando al modelo a organizar los tokens de modo que la información crítica permanezca accesible después de la fusión. Un estimador de paso directo (straight-through estimator) permite que los gradientes fluyan hacia atrás a través de las decisiones discretas de agrupamiento, actualizando los pesos del codificador en consecuencia.
Este proceso se implementa utilizando Sentence Transformers y un envoltorio de pérdida personalizado. El script de entrenamiento calcula las incrustaciones una vez por lote pero aplica múltiples estrategias de agrupamiento a esas mismas incrustaciones, añadiendo una sobrecarga computacional mínima. Los desarrolladores también pueden acelerar los pasos de agrupamiento de Ward y puntuación MaxSim utilizando kernels CUDA, que ofrecen mejoras de velocidad significativas sobre las implementaciones basadas en CPU.
Detalles clave
- Reducción de almacenamiento: Usar un factor de agrupamiento de 4 reduce los vectores de documentos aproximadamente un 75%, disminuyendo el almacenamiento de 12,8 GB a 3,2 GB para un corpus de un millón de documentos con precisión de 4 bits.
- Retención de calidad: El modelo consciente del agrupamiento retiene el 97,8% de su puntuación nDCG@10 de NanoBEIR sin agrupar con un factor de agrupamiento de 4, en comparación con el 94,6% de un modelo estándar.
- Método de entrenamiento: La función de pérdida promedia las puntuaciones de recuperación de representaciones sin agrupar y agrupadas, enseñando al codificador a ser robusto ante la compresión.
- Flexibilidad: El agrupamiento puede controlarse mediante un factor fijo, un recuento máximo de tokens o un umbral de distancia adaptativo calibrado en un corpus de muestra.
- Rendimiento: Los kernels CUDA para el agrupamiento de Ward pueden ser de 30 a 150 veces más rápidos que las implementaciones de SciPy, dependiendo de la configuración.
- Mejora de línea base: Incluso la calidad de recuperación sin agrupar mejora ligeramente con este método de entrenamiento, pasando de 51,84 a 52,39 en nDCG@10 medio.
Por qué importa
Para los ingenieros que construyen sistemas de generación aumentada por recuperación (RAG), el costo de almacenamiento y la latencia son restricciones constantes. Los modelos multi-vectoriales ofrecen superioridad en precisión para consultas complejas, pero a menudo resultan prohibitivos a escala debido a su huella de memoria. Esta técnica permite a los equipos desplegar recuperadores multi-vectoriales de alto rendimiento sin la factura de infraestructura asociada, haciendo viable la búsqueda avanzada para conjuntos de datos más grandes.
El método también simplifica el equilibrio entre velocidad y precisión. Al entrenar el modelo para esperar la compresión, los desarrolladores pueden ajustar el factor de agrupamiento en tiempo de inferencia sin volver a entrenar. Esto significa que un único modelo puede servir a diferentes casos de uso, desde búsquedas archivísticas de alta precisión hasta sugerencias en tiempo real de baja latencia, simplemente cambiando la configuración de agrupamiento.
Además, el enfoque es compatible con otras técnicas de compresión como la cuantización y las incrustaciones Matryoshka. Los equipos pueden superponer estos métodos para lograr ratios de compresión extremos manteniendo una calidad de recuperación aceptable, proporcionando un conjunto de herramientas flexible para optimizar la infraestructura de búsqueda.
Lo que puedes hacer
- Instala las dependencias requeridas usando
pip install -U "sentence-transformers[train,kernels]"para acceder a los scripts de entrenamiento y las aceleraciones CUDA. - Ejecuta el script de ejemplo proporcionado con
uv runpara entrenar un modelo de línea base y un modelo consciente del agrupamiento en el dataset MS MARCO para comparación. - Calibra un umbral de agrupamiento adaptativo en tu propio corpus de documentos usando
HierarchicalTokenPooling.calibrate_distance_thresholdpara encontrar el equilibrio óptimo para tus datos. - Evalúa tus modelos entrenados en NanoBEIR o en un benchmark específico del dominio para medir el impacto de diferentes factores de agrupamiento en nDCG@10.
- Habilita los kernels CUDA durante la inferencia estableciendo
use_kernels=Trueal cargar elMultiVectorEncoderpara acelerar el agrupamiento y la puntuación. - Experimenta combinando el agrupamiento de tokens con la cuantización de 4 bits para reducir aún más los requisitos de almacenamiento para despliegues a gran escala.



