Itzma、RustとPythonでオブジェクトストレージにサーバーレスベクトル検索を実現
Itzmaは、S3などのオブジェクトストレージ上で直接ベクトル検索を可能にする新しいライブラリです。専用ベクトルデータベースサーバーが不要になり、HNSWおよびSQ8インデックスをサポートします。
英語の原文から自動翻訳されました。
2026年11月中旬にリリースされたオープンソースライブラリ「itzma」が登場し、開発者がベクトルをオブジェクトストレージバケットに直接保存・クエリできるようにすることで、ベクトル検索インフラの簡素化を図っています。このRustライブラリにはPythonバインディングが含まれており、専用のベクトルデータベースサーバーが不要になります。これにより、バケットへのアクセス権を持つ任意のプロセスが、標準的なクラウドストレージサービスを使用してデータの書き込みとクエリを行えるようになります。
何が起きたか
GitHubのリポジトリ sergiommarcial/itzma でホストされているこのプロジェクトは、ベクトル類似性検索に対するサーバーレスアプローチを導入しています。複雑なクラスターや特殊なデータベースインスタンスを管理する代わりに、エンジニアはオブジェクトストレージバケットをベクトル操作の主要なバックエンドとして扱えるようになりました。このシステムは密ベクトルと疎ベクトルの両方をサポートしており、検索拡張生成(RAG)システムを含むさまざまな機械学習ワークフローに対応できる柔軟性を提供します。
Itzmaは中央コーディネーター、リーダー、またはロックマネージャーなしで動作します。この設計により、複数のプロセスが同じ名前空間に対して同時に相互作用できるようになり、異なるサービスが同じベクトルコレクションから読み取ったり書き込んだりする必要がある分散アプリケーションに適しています。ライブラリは楽観的ロックメカニズムと先書きログ(Write-Ahead Log)を通じて並行性を処理し、複数の書き込み者が同時にアクティブであってもデータの一貫性を保証します。
仕組み
コアメカニズムは、オブジェクトストレージキーを構造化されたファイルシステムとして扱うことに依存しています。各名前空間はキープレフィックスに対応し、ドキュメントは含まれる先書きログエントリの範囲によって命名される不変セグメントとして保存されます。書き込みが発生すると、まず単一のオブジェクトとして先書きログに追加されます。定期的に、これらのログエントリは実際のベクトルデータとインデックスを保持するより大きな不変セグメントファイルに圧縮されます。
クエリにおいて、itzmaは主に2つのインデックスタイプをサポートしています:HNSWとSQ8です。HNSWは次元あたり1バイトのコード上にグラフを構築するため、キャッシュ後は効率的ですが、初期読み取りサイズが大きくなります。SQ8はベクトルをパーティションにクラスタリングし、クエリ時に関連セクションのみを読み取るため、キャッシュされていないシナリオに適しています。また、システムは転置インデックスを用いた疎ベクトルもサポートしており、ハイブリッド検索戦略を可能にします。すべてのクエリは、大規模データセットのスキャンによる過剰なコストを防ぐために読み取り予算を尊重し、ライブラリは最新のマニフェストと未圧縮のログ末尾を読むことで、リーダーが常にデータの一貫したビューを見るように保証します。
主要な詳細
- ストレージバックエンド: S3、GCS、Azure、ローカルディスクなど、
object_storeインターフェースを実装しているあらゆるサービスで動作しますが、ローカルディスクは圧縮のための条件付き更新サポートがありません。 - インデックスタイプ: キャッシュ済みデータでの高い再現率向けにHNSWを、効率的な非キャッシュ読み取り向けにSQ8をサポートしており、標準データセットでのベンチマークでは recall@10 が0.98以上を示しています。
- 並行性: 書き込みには put-if-absent を、マニフェスト更新には compare-and-swap を使用し、中央コーディネーターなしでの競合に対処するために最大32回まで再試行します。
- データ形式: ベクトルはNumPy配列、Arrow、Polars、DuckDBテーブル経由で取り込め、次元と属性タイプに関する宣言済みスキーマに対する自動検証が行われます。
- メンテナンス: ライブラリはバックグラウンドタスクを自動的に実行しないため、
compact、gc、index関数の手動またはスケジュールされた呼び出しが必要です。ただし、Pythonメンテナーが利用可能です。 - 安全機能: コスト露出を制限する読み取り予算、全書き込みまたは無書き込みを保証するアトミックバッチ、既存のセグメントとログからマニフェストを再構築する復旧ツールが含まれています。
なぜ重要なのか
AI製品を開発するソフトウェアエンジニアにとって、ベクトルデータベースの管理に伴う運用オーバーヘッドは重大なボトルネックです。従来のソリューションでは、サーバーのプロビジョニング、スケーリングポリシーの管理、アプリケーションサービスとデータベース間のネットワーク遅延への対応が必要でした。Itzmaはこの複雑さをオブジェクトストレージレイヤーに移行します。これは多くのクラウドアーキテクチャで既に標準的な要素です。つまり、チームは既存のS3またはGCSバケットをベクトルストレージに活用でき、インフラコストを削減し、デプロイパイプラインを簡素化できます。
itzmaのサーバーレス特性は、モダンなイベント駆動型アーキテクチャともよく一致します。バケットへのアクセス権を持つ任意のプロセスがデータをクエリできるため、特定のデータベースインスタンスへの強い結合なしに、分離されたマイクロサービス間でベクトル状態を共有することが可能になります。これは、取り込みパイプラインとクエリサービスが独立してスケールする可能性のあるRAGシステムで特に価値があります。ただし、開発者は、ライブラリがインデックス構築やガベージコレクションを自動化しないため、パフォーマンスがキャッシュ戦略と適切なメンテナンススケジュールに大きく依存することを認識する必要があります。
できること
- 専用ベクトルデータベースクラスターの管理が過剰となる小〜中規模のRAGアプリケーションでitzmaを評価してください。
- セグメントの圧縮とインデックスの構築を定期的に行い、クエリパフォーマンスを高く保つために、
maintain関数を実行するスケジュールワーカーを実装してください。 - ホットデータに対する頻繁なクエリを含むワークロードの場合、特に読み取りパフォーマンスを最適化するために
CacheStoreおよびDecodedCache機能を使用してください。 - 高スループットの取り込みパイプラインでは調整が必要な場合があるため、書き込み競合に対する32回の再試行制限など、環境固有の並行性制限をテストしてください。
- ArrowまたはPolarsを使用して効率的なバッチアップロードを行う既存のデータ処理スタックとの統合のために、Pythonバインディングを活用してください。
- 大規模スキャンによる予期せぬコストを避けるため、本番環境で読み取り予算を注意深く監視し、データセットサイズに応じて
DEFAULT_READ_BUDGETを調整してください。



