Développer avec l’IA

L'entraînement conscient du regroupement de jetons réduit le stockage vectoriel tout en préservant la qualité de recherche

Une nouvelle méthode d'entraînement apprend aux encodeurs multi-vecteurs à préserver les signaux de récupération après compression des vecteurs de documents, réduisant le stockage de 75 % avec une perte de qualité minimale.

Illustration du regroupement vectoriel compressant les points de données
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Hugging Face a publié un guide technique le 11 novembre 2026, détaillant une méthode appelée entraînement conscient du regroupement de jetons (token pooling-aware training) pour les modèles d'embedding multi-vecteurs. Cette approche répond aux coûts élevés de stockage de modèles comme ColBERT en apprenant aux encodeurs à maintenir la précision de la récupération même après une fusion agressive de vecteurs de jetons similaires.

Ce qui s'est passé

Les modèles de récupération multi-vecteurs attribuent un vecteur distinct à chaque jeton d'un document, permettant à différentes parties d'une requête de correspondre à des sections spécifiques du texte. Bien que cela offre une grande expressivité, cela crée d'énormes exigences de stockage. Un corpus d'un million de documents peut facilement générer des centaines de millions de vecteurs, consommant des gigaoctets d'espace même avec quantification.

Pour réduire cette empreinte, les développeurs utilisent souvent le regroupement de jetons (token pooling), qui fusionne les vecteurs de jetons similaires en représentations uniques. Cependant, le regroupement standard est appliqué après l'entraînement, ce qui signifie que le modèle n'a jamais appris à gérer la perte d'information causée par la fusion. Cela conduit souvent à une dégradation de la qualité de recherche, car les distinctions subtiles entre les jetons sont effacées.

Le nouveau guide démontre comment intégrer le regroupement directement dans la boucle d'entraînement. En optimisant le modèle pour qu'il performe bien sur les représentations originales et regroupées simultanément, l'encodeur apprend à regrouper les concepts connexes d'une manière qui survit à la compression. Le résultat est un modèle qui conserve presque toute sa puissance de récupération tout en stockant significativement moins de vecteurs par document.

Comment cela fonctionne

Le mécanisme central repose sur le Hierarchical Token Pooling, qui utilise le clustering hiérarchique de Ward pour grouper les embeddings de jetons similaires. En partant des jetons individuels, l'algorithme fusionne itérativement les deux groupes qui causent la plus petite augmentation de la variance interne. Cela crée une hiérarchie de clusters, permettant aux développeurs de choisir un niveau de compression, tel que ne conserver qu'un quart des vecteurs originaux.

Pendant l'entraînement, le système applique une fonction de perte combinée. La moitié de la perte provient de la récupération avec des embeddings complets non regroupés, garantissant que le modèle apprend des représentations riches. L'autre moitié provient de la récupération avec des embeddings regroupés, forçant le modèle à organiser les jetons afin que les informations critiques restent accessibles après la fusion. Un estimateur straight-through permet aux gradients de circuler rétroactivement à travers les décisions discrètes de clustering, mettant à jour les poids de l'encodeur en conséquence.

Ce processus est implémenté à l'aide de Sentence Transformers et d'un wrapper de perte personnalisé. Le script d'entraînement calcule les embeddings une fois par lot mais applique plusieurs stratégies de regroupement à ces mêmes embeddings, ajoutant une surcharge computationnelle minimale. Les développeurs peuvent également accélérer les étapes de clustering de Ward et de scoring MaxSim à l'aide de noyaux CUDA, qui offrent des gains de vitesse significatifs par rapport aux implémentations basées sur CPU.

Détails clés

  • Réduction du stockage : Utiliser un facteur de regroupement de 4 réduit les vecteurs de documents d'environ 75 %, passant le stockage de 12,8 Go à 3,2 Go pour un corpus d'un million de documents avec une précision de 4 bits.
  • Conservation de la qualité : Le modèle conscient du regroupement conserve 97,8 % de son score NanoBEIR nDCG@10 non regroupé avec un facteur de regroupement de 4, contre 94,6 % pour un modèle standard.
  • Méthode d'entraînement : La fonction de perte fait la moyenne des scores de récupération des représentations non regroupées et regroupées, enseignant à l'encodeur à être robuste à la compression.
  • Flexibilité : Le regroupement peut être contrôlé par un facteur fixe, un nombre maximum de jetons ou un seuil de distance adaptatif calibré sur un corpus d'échantillon.
  • Performance : Les noyaux CUDA pour le clustering de Ward peuvent être 30 à 150 fois plus rapides que les implémentations SciPy, selon les paramètres.
  • Amélioration de la base : Même la qualité de récupération non regroupée s'améliore légèrement avec cette méthode d'entraînement, passant de 51,84 à 52,39 pour la moyenne nDCG@10.

Pourquoi c'est important

Pour les ingénieurs construisant des systèmes de génération augmentée par récupération (RAG), le coût de stockage et la latence sont des contraintes constantes. Les modèles multi-vecteurs offrent une précision supérieure pour les requêtes complexes mais sont souvent prohibitifs à grande échelle en raison de leur empreinte mémoire. Cette technique permet aux équipes de déployer des récupérateurs multi-vecteurs haute performance sans la facture d'infrastructure associée, rendant la recherche avancée faisable pour des jeux de données plus importants.

La méthode simplifie également le compromis entre vitesse et précision. En entraînant le modèle à s'attendre à la compression, les développeurs peuvent ajuster le facteur de regroupement au moment de l'inférence sans réentraîner. Cela signifie qu'un seul modèle peut servir différents cas d'utilisation, depuis la recherche archivistique de haute précision jusqu'aux suggestions en temps réel à faible latence, simplement en changeant la configuration de regroupement.

De plus, l'approche est compatible avec d'autres techniques de compression comme la quantification et les embeddings Matryoshka. Les équipes peuvent superposer ces méthodes pour atteindre des ratios de compression extrêmes tout en maintenant une qualité de récupération acceptable, offrant une boîte à outils flexible pour optimiser l'infrastructure de recherche.

Ce que vous pouvez faire

  • Installez les dépendances requises en utilisant pip install -U "sentence-transformers[train,kernels]" pour accéder aux scripts d'entraînement et aux accélérations CUDA.
  • Exécutez le script d'exemple fourni avec uv run pour entraîner un modèle de base et un modèle conscient du regroupement sur le jeu de données MS MARCO pour comparaison.
  • Calibrez un seuil de regroupement adaptatif sur votre propre corpus de documents en utilisant HierarchicalTokenPooling.calibrate_distance_threshold pour trouver l'équilibre optimal pour vos données.
  • Évaluez vos modèles entraînés sur NanoBEIR ou un benchmark spécifique au domaine pour mesurer l'impact de différents facteurs de regroupement sur nDCG@10.
  • Activez les noyaux CUDA pendant l'inférence en définissant use_kernels=True lors du chargement du MultiVectorEncoder pour accélérer le clustering et le scoring.
  • Expérimentez la combinaison du regroupement de jetons avec la quantification 4 bits pour réduire davantage les exigences de stockage pour les déploiements à grande échelle.
  • #machine learning
  • #vector search
  • #rag
  • #embeddings
  • #optimization

Outils de la Boutique Bytechap

Continuer la lecture

Tous les articles