Dữ liệu & tài liệu

Itzma mang tìm kiếm vector serverless lên lưu trữ đối tượng bằng Rust và Python

Itzma là một thư viện mới cho phép tìm kiếm vector trực tiếp trên các hệ thống lưu trữ đối tượng như S3, loại bỏ nhu cầu về máy chủ cơ sở dữ liệu vector chuyên dụng trong khi vẫn hỗ trợ chỉ mục HNSW và SQ8.

Khối thủy tinh với các vector phát sáng phía trên biểu tượng lưu trữ đám mây
Minh họa được tạo riêng cho bài viết này

Được dịch tự động từ bản gốc tiếng Anh.

Một thư viện mã nguồn mở mới có tên itzma đã ra mắt nhằm đơn giản hóa hạ tầng tìm kiếm vector bằng cách cho phép các nhà phát triển lưu trữ và truy vấn vector trực tiếp trong các bucket lưu trữ đối tượng. Được phát hành vào giữa tháng 11 năm 2026, thư viện Rust này với các liên kết (bindings) Python giúp loại bỏ nhu cầu về máy chủ cơ sở dữ liệu vector chuyên dụng, cho phép bất kỳ quy trình nào có quyền truy cập bucket đều có thể ghi và truy vấn dữ liệu bằng các dịch vụ lưu trữ đám mây tiêu chuẩn.

Điều gì đã xảy ra

Dự án, được lưu trữ trên GitHub dưới repository sergiommarcial/itzma, giới thiệu một phương pháp tiếp cận serverless cho việc tìm kiếm tương đồng vector. Thay vì quản lý các cụm phức tạp hoặc các phiên bản cơ sở dữ liệu chuyên biệt, các kỹ sư giờ đây có thể coi các bucket lưu trữ đối tượng của họ là backend chính cho các thao tác vector. Hệ thống hỗ trợ cả vector dày đặc (dense) và vector thưa (sparse), cung cấp sự linh hoạt cho nhiều quy trình machine learning khác nhau, bao gồm các hệ thống tạo sinh tăng cường truy xuất (RAG).

Itzma hoạt động mà không cần bộ điều phối trung tâm, nút leader hay trình quản lý khóa. Lựa chọn thiết kế này cho phép nhiều quy trình tương tác với cùng một namespace một cách đồng thời, làm cho nó phù hợp với các ứng dụng phân tán nơi các dịch vụ khác nhau có thể cần đọc từ hoặc ghi vào cùng một bộ sưu tập vector. Thư viện xử lý tính đồng thời thông qua các cơ chế khóa lạc quan (optimistic locking) và nhật ký ghi trước (write-ahead logs), đảm bảo tính nhất quán của dữ liệu ngay cả khi nhiều người ghi hoạt động đồng thời.

Cách thức hoạt động

Cơ chế cốt lõi dựa trên việc coi các khóa lưu trữ đối tượng như một hệ thống tệp có cấu trúc. Mỗi namespace tương ứng với một tiền tố khóa, và các tài liệu được lưu trữ dưới dạng các đoạn bất biến (immutable segments) được đặt tên theo phạm vi các mục nhật ký ghi trước mà chúng chứa. Khi một thao tác ghi xảy ra, nó đầu tiên được thêm vào nhật ký ghi trước dưới dạng một đối tượng duy nhất. Định kỳ, các mục nhật ký này được nén lại thành các tệp đoạn lớn hơn, bất biến, chứa dữ liệu vector thực tế và các chỉ mục.

Đối với việc truy vấn, itzma hỗ trợ hai loại chỉ mục chính: HNSW và SQ8. HNSW xây dựng một đồ thị trên các mã một byte mỗi chiều, rất hiệu quả khi đã được cache nhưng yêu cầu lần đọc ban đầu lớn hơn. SQ8 phân cụm các vector vào các phân vùng, chỉ đọc các phần liên quan trong quá trình truy vấn, tốt hơn cho các kịch bản chưa được cache. Hệ thống cũng hỗ trợ các vector thưa với chỉ mục đảo ngược, cho phép các chiến lược tìm kiếm lai (hybrid search). Tất cả các truy vấn tuân thủ ngân sách đọc (read budget) để ngăn chặn chi phí quá mức do quét các tập dữ liệu lớn, và thư viện đảm bảo rằng người đọc luôn thấy một quan điểm nhất quán của dữ liệu bằng cách đọc manifest mới nhất và bất kỳ đuôi nhật ký chưa được nén nào.

Chi tiết chính

  • Backend lưu trữ: Hoạt động với bất kỳ dịch vụ nào triển khai giao diện object_store, bao gồm S3, GCS, Azure và ổ đĩa cục bộ, mặc dù ổ đĩa cục bộ thiếu hỗ trợ cập nhật có điều kiện cho việc nén.
  • Loại chỉ mục: Hỗ trợ HNSW cho độ thu hồi cao với dữ liệu đã cache và SQ8 cho các lần đọc chưa cache hiệu quả, với các benchmark cho thấy recall@10 trên 0.98 trên các tập dữ liệu tiêu chuẩn.
  • Tính đồng thời: Sử dụng put-if-absent cho các thao tác ghi và compare-and-swap cho các cập nhật manifest, thử lại tối đa 32 lần để xử lý xung đột mà không cần bộ điều phối trung tâm.
  • Định dạng dữ liệu: Các vector có thể được nạp qua mảng NumPy, Arrow, Polars hoặc bảng DuckDB, với xác thực tự động so với schema đã khai báo về kích thước và kiểu thuộc tính.
  • Bảo trì: Yêu cầu gọi thủ công hoặc theo lịch trình các hàm compact, gc và index, vì thư viện không chạy các tác vụ nền tự động, mặc dù có sẵn một maintainer Python.
  • Tính năng an toàn: Bao gồm ngân sách đọc để giới hạn rủi ro chi phí, các batch nguyên tử để đảm bảo ghi tất-cả-hoặc-không-gì-cả, và các công cụ phục hồi để xây dựng lại manifest từ các đoạn và nhật ký hiện có.

Tại sao điều này quan trọng

Đối với các kỹ sư phần mềm xây dựng sản phẩm AI, chi phí vận hành của việc quản lý cơ sở dữ liệu vector là một nút thắt đáng kể. Các giải pháp truyền thống yêu cầu cung cấp máy chủ, quản lý chính sách mở rộng quy mô và xử lý độ trễ mạng giữa các dịch vụ ứng dụng và cơ sở dữ liệu. Itzma chuyển sự phức tạp này sang lớp lưu trữ đối tượng, vốn đã là một yếu tố quen thuộc trong hầu hết các kiến trúc đám mây. Điều này có nghĩa là các nhóm có thể tận dụng các bucket S3 hoặc GCS hiện có cho việc lưu trữ vector, giảm chi phí hạ tầng và đơn giản hóa các pipeline triển khai.

Bản chất serverless của itzma cũng phù hợp với các kiến trúc hướng sự kiện hiện đại. Vì bất kỳ quy trình nào có quyền truy cập bucket đều có thể truy vấn dữ liệu, nó cho phép các microservice tách rời chia sẻ trạng thái vector mà không bị ràng buộc chặt chẽ với một phiên bản cơ sở dữ liệu cụ thể. Điều này đặc biệt có giá trị đối với các hệ thống RAG, nơi các pipeline nạp dữ liệu và dịch vụ truy vấn có thể mở rộng quy mô độc lập. Tuy nhiên, các nhà phát triển phải nhận thức rằng hiệu suất phụ thuộc nhiều vào chiến lược cache và lịch trình bảo trì đúng đắn, vì thư viện không tự động hóa việc xây dựng chỉ mục hoặc thu gom rác.

Những gì bạn có thể làm

  • Đánh giá itzma cho các ứng dụng RAG quy mô nhỏ đến trung bình, nơi việc quản lý một cụm cơ sở dữ liệu vector chuyên dụng là không cần thiết.
  • Triển khai một worker theo lịch trình để chạy các hàm maintain thường xuyên, đảm bảo các đoạn được nén và chỉ mục được xây dựng để giữ hiệu suất truy vấn ở mức cao.
  • Sử dụng các tính năng CacheStore và DecodedCache để tối ưu hóa hiệu suất đọc, đặc biệt nếu khối lượng công việc của bạn liên quan đến các truy vấn thường xuyên trên dữ liệu nóng.
  • Kiểm tra giới hạn đồng thời trong môi trường cụ thể của bạn, vì giới hạn thử lại 32 lần cho xung đột ghi có thể cần điều chỉnh cho các pipeline nạp dữ liệu thông lượng cao.
  • Tận dụng các liên kết Python để tích hợp với các stack xử lý dữ liệu hiện có sử dụng Arrow hoặc Polars cho việc tải hàng loạt hiệu quả.
  • Theo dõi chặt chẽ ngân sách đọc trong môi trường production để tránh các chi phí bất ngờ từ việc quét lớn, điều chỉnh DEFAULT_READ_BUDGET khi cần thiết cho kích thước tập dữ liệu của bạn.
  • #vector search
  • #rust
  • #python
  • #object storage
  • #serverless
  • #rag

Công cụ từ cửa hàng Bytechap

$89

DocBento

Hệ thống quản lý tài liệu tự host, có khả năng đọc mọi bản quét và trả lời kèm trích dẫn trang cụ thể.

Demo trực tiếp

Đọc tiếp

Dữ liệu & tài liệu

Các bài kiểm tra chuẩn cơ sở dữ liệu vector tiết lộ khoảng cách lớn về thời gian xây dựng và khả năng đồng thời

Percona đã thực hiện benchmark trên sáu công cụ hỗ trợ vector với phần cứng giống hệt nhau, phát hiện ra những khác biệt đáng kể về thời gian xây dựng chỉ mục, hiệu quả lưu trữ và khả năng mở rộng khi xử lý truy vấn đồng thời.

Tất cả bài viết