Huấn luyện nhận thức về gộp token giúp giảm dung lượng lưu trữ vector mà vẫn giữ nguyên chất lượng tìm kiếm
Một phương pháp huấn luyện mới dạy các bộ mã hóa đa vector cách bảo toàn tín hiệu truy xuất sau khi nén các vector tài liệu, giúp giảm 75% dung lượng lưu trữ với mức suy giảm chất lượng không đáng kể.
Được dịch tự động từ bản gốc tiếng Anh.
Hugging Face đã công bố một hướng dẫn kỹ thuật vào ngày 11 tháng 11 năm 2026, trình bày chi tiết về phương pháp có tên là huấn luyện nhận thức về gộp token (token pooling-aware training) dành cho các mô hình embedding đa vector. Cách tiếp cận này giải quyết chi phí lưu trữ cao của các mô hình như ColBERT bằng cách dạy các bộ mã hóa duy trì độ chính xác khi truy xuất ngay cả sau khi mạnh tay hợp nhất các vector token tương tự.
Chuyện gì đã xảy ra
Các mô hình truy xuất đa vector gán một vector riêng biệt cho từng token trong tài liệu, cho phép các phần khác nhau của một truy vấn khớp với những đoạn văn bản cụ thể. Mặc dù điều này mang lại khả năng biểu diễn cao, nó tạo ra yêu cầu lưu trữ khổng lồ. Một kho dữ liệu gồm một triệu tài liệu có thể dễ dàng tạo ra hàng trăm triệu vector, chiếm dụng nhiều gigabyte không gian ngay cả khi sử dụng kỹ thuật lượng tử hóa (quantization).
Để giảm thiểu gánh nặng này, các nhà phát triển thường sử dụng phương pháp gộp token (token pooling), hợp nhất các vector token tương tự thành các biểu diễn đơn lẻ. Tuy nhiên, việc gộp tiêu chuẩn được áp dụng sau quá trình huấn luyện, nghĩa là mô hình chưa bao giờ học cách xử lý sự mất mát thông tin do việc hợp nhất gây ra. Điều này thường dẫn đến chất lượng tìm kiếm bị suy giảm, vì những khác biệt tinh tế giữa các token bị xóa bỏ.
Hướng dẫn mới minh họa cách tích hợp trực tiếp việc gộp vào vòng lặp huấn luyện. Bằng cách tối ưu hóa mô hình để hoạt động tốt trên cả các biểu diễn gốc và các biểu diễn đã được gộp đồng thời, bộ mã hóa học cách cụm các khái niệm liên quan theo cách có thể chịu đựng được quá trình nén. Kết quả là một mô hình giữ lại gần như toàn bộ sức mạnh truy xuất trong khi lưu trữ số lượng vector mỗi tài liệu ít hơn đáng kể.
Cơ chế hoạt động
Cơ chế cốt lõi dựa trên Hierarchical Token Pooling (Gộp token phân cấp), sử dụng thuật toán phân cụm phân cấp Ward để nhóm các embedding token tương tự. Bắt đầu với các token riêng lẻ, thuật toán liên tục hợp nhất hai nhóm gây ra mức tăng nhỏ nhất trong phương sai nội bộ. Điều này tạo ra một hệ thống phân cấp các cụm, cho phép các nhà phát triển chọn mức độ nén, chẳng hạn như chỉ giữ lại một phần tư số vector ban đầu.
Trong quá trình huấn luyện, hệ thống áp dụng một hàm loss kết hợp. Một nửa loss đến từ việc truy xuất với các embedding đầy đủ, chưa được gộp, đảm bảo mô hình học được các biểu diễn phong phú. Nửa còn lại đến từ việc truy xuất với các embedding đã được gộp, buộc mô hình sắp xếp các token sao cho thông tin quan trọng vẫn có thể truy cập được sau khi hợp nhất. Một bộ ước tính xuyên thẳng (straight-through estimator) cho phép gradient chảy ngược qua các quyết định phân cụm rời rạc, cập nhật trọng số của bộ mã hóa tương ứng.
Quy trình này được triển khai bằng Sentence Transformers và một wrapper loss tùy chỉnh. Script huấn luyện tính toán các embedding một lần cho mỗi batch nhưng áp dụng nhiều chiến lược gộp lên chính các embedding đó, thêm vào rất ít chi phí tính toán. Các nhà phát triển cũng có thể tăng tốc các bước phân cụm Ward và chấm điểm MaxSim bằng cách sử dụng các kernel CUDA, cung cấp tốc độ nhanh hơn đáng kể so với các triển khai dựa trên CPU.
Chi tiết chính
- Giảm dung lượng lưu trữ: Sử dụng hệ số gộp (pool factor) bằng 4 giúp giảm khoảng 75% số vector tài liệu, cắt giảm dung lượng lưu trữ từ 12,8 GB xuống còn 3,2 GB cho một kho dữ liệu một triệu tài liệu ở độ chính xác 4-bit.
- Duy trì chất lượng: Mô hình nhận thức về gộp giữ lại 97,8% điểm nDCG@10 NanoBEIR so với phiên bản chưa gộp ở hệ số gộp bằng 4, so với 94,6% của một mô hình tiêu chuẩn.
- Phương pháp huấn luyện: Hàm loss trung bình hóa các điểm truy xuất từ các biểu diễn chưa gộp và đã gộp, dạy cho bộ mã hóa trở nên bền vững trước quá trình nén.
- Tính linh hoạt: Việc gộp có thể được kiểm soát bởi một hệ số cố định, số lượng token tối đa hoặc một ngưỡng khoảng cách thích ứng được hiệu chỉnh trên một mẫu kho dữ liệu.
- Hiệu suất: Các kernel CUDA cho phân cụm Ward có thể nhanh gấp 30 đến 150 lần so với các triển khai SciPy, tùy thuộc vào cấu hình.
- Cải thiện baseline: Ngay cả chất lượng truy xuất chưa gộp cũng cải thiện nhẹ với phương pháp huấn luyện này, tăng từ 51,84 lên 52,39 điểm nDCG@10 trung bình.
Tại sao điều này quan trọng
Đối với các kỹ sư xây dựng hệ thống RAG (Retrieval-Augmented Generation - Tạo sinh tăng cường truy xuất), chi phí lưu trữ và độ trễ là những ràng buộc thường trực. Các mô hình đa vector cung cấp độ chính xác vượt trội cho các truy vấn phức tạp nhưng thường quá đắt đỏ ở quy mô lớn do dấu vết bộ nhớ của chúng. Kỹ thuật này cho phép các đội ngũ triển khai các bộ truy xuất đa vector hiệu suất cao mà không phải chịu hóa đơn hạ tầng đi kèm, giúp việc tìm kiếm nâng cao trở nên khả thi cho các tập dữ liệu lớn hơn.
Phương pháp này cũng đơn giản hóa sự đánh đổi giữa tốc độ và độ chính xác. Bằng cách huấn luyện mô hình để dự đoán trước quá trình nén, các nhà phát triển có thể điều chỉnh hệ số gộp tại thời điểm suy luận (inference) mà không cần huấn luyện lại. Điều này có nghĩa là một mô hình duy nhất có thể phục vụ các trường hợp sử dụng khác nhau, từ tìm kiếm lưu trữ độ chính xác cao đến gợi ý thời gian thực độ trễ thấp, chỉ bằng cách thay đổi cấu hình gộp.
Hơn nữa, cách tiếp cận này tương thích với các kỹ thuật nén khác như lượng tử hóa và Matryoshka embeddings. Các đội ngũ có thể kết hợp nhiều phương pháp để đạt được tỷ lệ nén cực đoan trong khi vẫn duy trì chất lượng truy xuất chấp nhận được, cung cấp một bộ công cụ linh hoạt để tối ưu hóa hạ tầng tìm kiếm.
Những gì bạn có thể làm
- Cài đặt các phụ thuộc cần thiết bằng cách sử dụng
pip install -U "sentence-transformers[train,kernels]"để truy cập các script huấn luyện và tăng tốc CUDA. - Chạy script ví dụ được cung cấp bằng
uv runđể huấn luyện một mô hình baseline và một mô hình nhận thức về gộp trên bộ dữ liệu MS MARCO nhằm mục đích so sánh. - Hiệu chỉnh một ngưỡng gộp thích ứng trên kho dữ liệu tài liệu của riêng bạn bằng cách sử dụng
HierarchicalTokenPooling.calibrate_distance_thresholdđể tìm ra sự cân bằng tối ưu cho dữ liệu của bạn. - Đánh giá các mô hình đã huấn luyện của bạn trên NanoBEIR hoặc một benchmark chuyên ngành để đo lường tác động của các hệ số gộp khác nhau lên nDCG@10.
- Bật các kernel CUDA trong quá trình suy luận bằng cách đặt
use_kernels=Truekhi tảiMultiVectorEncoderđể tăng tốc độ phân cụm và chấm điểm. - Thử nghiệm kết hợp gộp token với lượng tử hóa 4-bit để giảm thêm yêu cầu lưu trữ cho các triển khai quy mô lớn.



