トークンプーリング対応の学習により、検索品質を維持しながらベクトルストレージを削減
新しい学習手法は、マルチベクトルエンコーダーにドキュメントベクトルの圧縮後も検索シグナルを保持する方法を教え、品質の低下を最小限に抑えつつストレージを75%削減します。
英語の原文から自動翻訳されました。
Hugging Faceは2026年11月11日、ColBERTのようなモデルの高いストレージコストに対処するため、マルチベクトル埋め込みモデル向けの「トークンプーリング対応学習」という手法の詳細を記載した技術ガイドを公開しました。このアプローチでは、類似したトークンベクトルを積極的に統合した後でも検索精度を維持するようエンコーダーを訓練します。
何が起きたか
マルチベクトル検索モデルは、ドキュメント内の各トークンに個別のベクトルを割り当て、クエリの異なる部分がテキストの特定のセクションと一致できるようにします。これにより表現力は高まりますが、膨大なストレージ要件が生じます。100万文書のコーパスは容易に数億個のベクトルを生成し、量子化を用いてもギガバイト単位の容量を消費します。
このフットプリントを削減するために、開発者はしばしばトークンプーリングを使用します。これは、類似したトークンベクトルを単一の表現に統合するものです。しかし、標準的なプーリングは学習後に適用されるため、モデルは統合によって生じる情報損失を処理することを学んでいません。その結果、トークン間の微妙な区別が消去され、検索品質が低下することがよくあります。
新しいガイドは、プーリングを学習ループに直接統合する方法を示しています。元の表現とプールされた表現の両方で良好に動作するようにモデルを最適化することで、エンコーダーは圧縮後も生き残る方法で関連概念をクラスタリングすることを学びます。その結果、ドキュメントあたりの保存ベクトル数を大幅に減らしながら、ほぼすべての検索能力を維持するモデルが得られます。
仕組み
中核となるメカニズムは、Ward階層クラスタリングを使用して類似したトークン埋め込みをグループ化する階層トークンプーリング(Hierarchical Token Pooling)に依存しています。個々のトークンから開始し、アルゴリズムは内部分散の増加が最も小さい2つのグループを繰り返し統合します。これによりクラスターの階層構造が作成され、開発者は元のベクトルの4分の1のみを残すなど、圧縮レベルを選択できます。
学習中、システムは結合損失関数を適用します。損失の半分は、プールされていない完全な埋め込みによる検索から生じ、モデルがリッチな表現を学ぶことを保証します。もう半分は、プールされた埋め込みによる検索から生じ、統合後も重要な情報がアクセス可能になるようにトークンを配置するようモデルに強制します。ストレートスルー推定器(straight-through estimator)により、離散的なクラスタリング決定を通じて勾配が流れることが許可され、それに応じてエンコーダーの重みが更新されます。
このプロセスはSentence Transformersとカスタム損失ラッパーを使用して実装されています。学習スクリプトはバッチごとに埋め込みを一度計算しますが、同じ埋め込みに対して複数のプーリング戦略を適用するため、計算オーバーヘッドは最小限です。開発者はまた、CUDAカーネルを使用してWardクラスタリングとMaxSimスコアリングステップを加速でき、CPUベースの実装と比較して大幅な高速化を提供します。
主要な詳細
- ストレージ削減: プール係数4を使用すると、ドキュメントベクトルは約75%削減され、4ビット精度での100万文書コーパスのストレージは12.8 GBから3.2 GBに減少します。
- 品質保持: プーリング対応モデルは、プール係数4で非プール時のNanoBEIR nDCG@10スコアの97.8%を保持します。これは標準モデルの94.6%と比較されます。
- 学習手法: 損失関数は、非プール表現とプール表現からの検索スコアを平均化し、エンコーダーが圧縮に対して頑健であることを教えます。
- 柔軟性: プーリングは、固定係数、最大トークン数、またはサンプルコーパスで校正された適応距離閾値によって制御できます。
- パフォーマンス: Wardクラスタリング用のCUDAカーネルは、設定に応じてSciPy実装より30〜150倍速くなることがあります。
- ベースライン改善: この学習手法により、非プール検索品質もわずかに向上し、平均nDCG@10が51.84から52.39に上昇します。
なぜ重要なのか
検索拡張生成(RAG)システムを構築するエンジニアにとって、ストレージコストとレイテンシは常に制約です。マルチベクトルモデルは複雑なクエリに対して優れた精度を提供しますが、メモリフットプリントのため大規模では導入が困難なことが多いです。この技術により、チームは関連するインフラ費用なしで高性能なマルチベクトルレトリバーを展開でき、より大きなデータセットでの高度な検索が可能になります。
この手法は、速度と精度のトレードオフも簡素化します。モデルに圧縮を期待するように訓練することで、開発者は再学習せずに推論時にプール係数を調整できます。つまり、単一のモデルが、プーリング設定を変更するだけで、高精度なアーカイブ検索から低レイテンシのリアルタイム提案まで、さまざまなユースケースに対応できます。
さらに、このアプローチは量子化やMatryoshka埋め込みなどの他の圧縮技術と互換性があります。チームはこれらの手法を重ねて極端な圧縮率を達成しつつ許容可能な検索品質を維持でき、検索インフラを最適化するための柔軟なツールキットを提供します。
できること
pip install -U "sentence-transformers[train,kernels]"を使用して必要な依存関係をインストールし、学習スクリプトとCUDAアクセラレーションにアクセスします。- 提供されているサンプルスクリプトを
uv runで実行し、比較のためにMS MARCOデータセットでベースラインモデルとプーリング対応モデルを訓練します。 HierarchicalTokenPooling.calibrate_distance_thresholdを使用して、独自のドキュメントコーパスで適応プーリング閾値を校正し、データに最適なバランスを見つけます。- NanoBEIRまたはドメイン固有ベンチマークで訓練済みモデルを評価し、異なるプール係数がnDCG@10に与える影響を測定します。
- クラスタリングとスコアリングを高速化するために、
MultiVectorEncoderの読み込み時にuse_kernels=Trueを設定して推論中にCUDAカーネルを有効にします。 - 大規模展開のためのストレージ要件をさらに削減するために、トークンプーリングと4ビット量子化の組み合わせを実験します。



