Tại sao tìm kiếm lai vượt trội hơn tìm kiếm web đơn giản cho các tác nhân AI
Tìm kiếm web trực tiếp giúp các tác nhân tìm thấy dữ liệu hiện hành, nhưng logic xếp hạng quyết định nguồn nội bộ hay bên ngoài sẽ thắng thế. Tìm kiếm lai giải quyết xung đột giữa tài liệu cũ và nhật ký thay đổi mới.
Được dịch tự động từ bản gốc tiếng Anh.
Các tác nhân AI đã có khả năng thực hiện tìm kiếm web trực tiếp, ngăn chúng bịa ra URL khi cần thông tin cập nhật. Tuy nhiên, việc chỉ lấy kết quả trực tiếp không giải quyết được thách thức cốt lõi là xác định nguồn nào đáng tin cậy khi dữ liệu web xung đột với hồ sơ nội bộ của công ty. Rào cản kỹ thuật thực sự đã chuyển từ khâu tạo sinh sang khâu truy xuất, đòi hỏi các hệ thống có thể xếp hạng bằng chứng dựa trên độ mới, thẩm quyền và kiểm soát truy cập đồng thời.
Chuyện gì đã xảy ra
Trong nhiều tháng, các tác nhân AI gặp khó khăn với một chế độ lỗi cụ thể: khi được yêu cầu cung cấp tài liệu hiện hành, chúng thường đoán mò các URL như docs.example.com/v4.2/auth, thất bại trong việc tải chúng và quay lại sử dụng dữ liệu huấn luyện lỗi thời. Để khắc phục điều này, các nhà cung cấp cơ sở hạ tầng như Cloudflare đã giới thiệu API Tìm kiếm Web trong các Cổng AI (AI Gateways) của họ, cho phép các tác nhân lấy kết quả trực tiếp kèm liên kết nguồn. Mặc dù điều này giải quyết vấn đề tìm trang mới, nó lại đặt ra một phức tạp mới. Các tác nhân giờ đây hoạt động với hai kho bằng chứng riêng biệt: kết quả web công khai và dữ liệu nội bộ tư nhân.
Hai kho này khác nhau đáng kể về cấu trúc và độ tin cậy. Kết quả web thường chỉ vài giờ tuổi nhưng chất lượng không đồng đều, trộn lẫn tài liệu chính thức với các chủ đề thảo luận trên diễn đàn. Dữ liệu nội bộ được biên soạn kỹ lưỡng và có tính thẩm quyền cao nhưng có thể lỗi thời hàng tháng trời mà không ai nhận ra. Khi một tác nhân gặp xung đột, chẳng hạn như nhật ký thay đổi của nhà cung cấp từ hôm qua mâu thuẫn với bài viết cơ sở tri thức nội bộ từ mùa xuân năm trước, nó thiếu logic cố hữu để quyết định nguồn nào thắng thế. Quyết định này không thể để một mình mô hình ngôn ngữ xử lý; nó phải diễn ra ở lớp truy xuất, nơi các quy tắc kinh doanh và quyền hạn được thực thi.
Cách tiếp cận ngây thơ là nối liền kết quả tìm kiếm web và nội bộ trước khi gửi đến mô hình sẽ thất bại trong môi trường sản xuất. Khi khối lượng dữ liệu tăng lên, phương pháp này dẫn đến các xung đột chưa được giải quyết, khiến mô hình pha trộn các nguồn mâu thuẫn hoặc ưu tiên các tài liệu nội bộ lỗi thời vì chúng khớp với cách diễn đạt của người dùng hơn. Hơn nữa, áp dụng kiểm soát truy cập sau khi truy xuất có nguy cơ làm rò rỉ các vé nội bộ nhạy cảm vào prompt, trong khi áp dụng quá thô lỗ lại loại bỏ ngữ cảnh hữu ích. Giải pháp đòi hỏi một hệ thống truy xuất thống nhất xử lý khớp từ vựng, tương tự ngữ nghĩa và lọc có cấu trúc trong một truy vấn duy nhất.
Cách thức hoạt động
Truy xuất lai giải quyết những vấn đề này bằng cách kết hợp khớp từ khóa, tìm kiếm vector và bộ lọc có cấu trúc trong một bộ sưu tập được lập chỉ mục. Khớp từ khóa rất quan trọng để bắt các tên sản phẩm chính xác, mã lỗi và chuỗi phiên bản, những thứ mà các mô hình embedding thường bỏ sót. Tìm kiếm vector nắm bắt các cách diễn đạt lại và ý định của người dùng. Bộ lọc có cấu trúc thực thi các ràng buộc cứng nhắc như quyền lợi khách hàng, phiên bản phần mềm và khu vực. Bằng cách thực hiện các thao tác này cùng nhau, hệ thống đảm bảo rằng chỉ dữ liệu liên quan và được phép mới đi vào giai đoạn xếp hạng.
Việc xếp hạng trong bối cảnh này vượt xa các điểm số tương tự đơn giản. Các hệ thống hiệu quả sử dụng xếp hạng đa giai đoạn để cân nhắc rõ ràng độ mới, thẩm quyền nguồn và quy tắc kinh doanh. Ví dụ, một hồ sơ xếp hạng có thể đẩy mạnh tài liệu chính thức so với các chủ đề diễn đàn và ưu tiên nhật ký thay đổi tuần trước so với trang wiki một năm tuổi. Độ mới và thẩm quyền được coi là các đầu vào rõ ràng, có thể kiểm tra được cho điểm số, chứ không phải các đặc điểm ngầm mà mô hình phải suy luận. Điều này cho phép các kỹ sư tinh chỉnh tốc độ giảm mức liên quan của các tài liệu cũ, đảm bảo bằng chứng mới nhất và có thẩm quyền nhất nổi lên hàng đầu.
Kết quả web được đối xử như các ứng viên chứ không phải câu trả lời cuối cùng. Tùy thuộc vào kiến trúc, kết quả bên ngoài có thể được lập chỉ mục vào một bộ sưu tập chung cùng với dữ liệu nội bộ hoặc được truy xuất riêng và hợp nhất sau đó. Trong cả hai trường hợp, mục tiêu là đánh giá tất cả bằng chứng theo một bộ tiêu chí nhất quán trước khi chọn những gì đưa vào prompt. Cách tiếp cận này giảm tải cho cửa sổ ngữ cảnh bằng cách gửi cho mô hình ít mảnh bằng chứng hơn nhưng được chọn lọc tốt hơn, cải thiện cả độ trễ và chất lượng câu trả lời.
Chi tiết chính
- Tìm kiếm web trực tiếp ngăn các tác nhân đoán mò URL nhưng tạo ra vấn đề xếp hạng giữa dữ liệu bên ngoài mới và hồ sơ nội bộ lỗi thời.
- Nối liền kết quả tìm kiếm thất bại vì các mô hình không thể giải quyết đáng tin cậy các xung đột giữa các nguồn mâu thuẫn nếu không có tín hiệu xếp hạng rõ ràng.
- Truy xuất lai kết hợp khớp từ khóa cho các thuật ngữ chính xác, tìm kiếm vector cho ý định và bộ lọc có cấu trúc cho quyền hạn trong một truy vấn.
- Xếp hạng đa giai đoạn cho phép các kỹ sư cân nhắc rõ ràng độ mới và thẩm quyền nguồn, đảm bảo nhật ký thay đổi mới hơn đánh bại các bài viết cơ sở tri thức cũ hơn.
- Kiểm soát truy cập phải được áp dụng tại thời điểm truy xuất để ngăn dữ liệu nội bộ nhạy cảm đi vào prompt trong khi vẫn giữ ngữ cảnh hữu ích.
- Hệ thống phải xử lý khối lượng cuộc gọi cao, vì các tác nhân có thể kích hoạt hàng chục lần truy xuất cho mỗi nhiệm vụ, đòi hỏi suy luận độ trễ thấp gần với dữ liệu.
Tại sao điều này quan trọng
Đối với các nhóm xây dựng tác nhân AI, sự thay đổi này có nghĩa là cơ sở hạ tầng tìm kiếm không còn là một mặt hàng thông thường mà là thành phần cốt lõi của độ tin cậy tác nhân. Chất lượng câu trả lời của tác nhân phụ thuộc ít hơn vào khả năng tạo sinh của mô hình ngôn ngữ và phụ thuộc nhiều hơn vào độ chính xác của lớp truy xuất. Các kỹ sư phải thiết kế hệ thống có thể xử lý khối lượng và độ phức tạp của quy trình làm việc tác nhân, nơi mỗi lần gọi truy xuất nằm trên đường dẫn tới câu trả lời cuối cùng. Nếu không có truy xuất lai mạnh mẽ, các tác nhân sẽ tiếp tục cung cấp câu trả lời tự tin nhưng sai lệch dựa trên dữ liệu lỗi thời hoặc trái phép.
Điều này cũng thay đổi cách các tổ chức quản lý tri thức nội bộ. Tài liệu phải được lưu trữ kèm siêu dữ liệu như ngày xuất bản, loại nguồn và thẻ phiên bản để cho phép xếp hạng hiệu quả. Chỉ đơn thuần đổ văn bản vào cơ sở dữ liệu vector là không đủ. Các nhóm cần đối xử với truy xuất như một vấn đề kỹ thuật đo lường được, theo dõi xem bằng chứng đúng có nằm trong kết quả hàng đầu hay không, độc lập với cách diễn đạt của mô hình. Điều này đòi hỏi thử nghiệm tải ở khối lượng tác nhân, mô phỏng nhiều bước truy xuất mà một tác nhân thực hiện trong một nhiệm vụ duy nhất.
Bạn có thể làm gì
- Lưu trữ ngày xuất bản và loại nguồn trên mọi tài liệu, dù là nội bộ hay bên ngoài, để cho phép xếp hạng dựa trên độ mới.
- Bao gồm các tín hiệu từ vựng trong quy trình truy xuất của bạn để bắt các số phiên bản chính xác và mã lỗi mà embeddings bỏ sót.
- Áp dụng bộ lọc quyền hạn tại thời điểm truy vấn thay vì hậu xử lý để đảm bảo dữ liệu nhạy cảm không bao giờ đến được với mô hình.
- Chỉ gửi các đoạn liên quan nhất đến mô hình, được xếp hạng theo từng phần nhỏ (chunk), thay vì toàn bộ tài liệu để giảm nhiễu ngữ cảnh.
- Xây dựng một bộ kiểm thử gồm các câu hỏi thực tế của tác nhân để đo độ chính xác truy xuất tách biệt với chất lượng tạo sinh.
- Thử nghiệm tải hệ thống truy xuất của bạn với số lượng cuộc gọi thực tế mà một tác nhân thực hiện cho mỗi nhiệm vụ, không chỉ một truy vấn cho mỗi yêu cầu.



