Daten & Dokumente

Itzma bringt serverlose Vektorsuche in den Objektspeicher mit Rust und Python

Itzma ist eine neue Bibliothek, die Vektorsuche direkt auf Objektspeichern wie S3 ermöglicht. Sie macht dedizierte Vektor-Datenbank-Server überflüssig und unterstützt HNSW- sowie SQ8-Indizes.

Glaswürfel mit leuchtenden Vektoren über einem Cloud-Speicher-Symbol
Für diesen Artikel generierte Illustration

Automatisch aus dem englischen Original übersetzt.

Eine neue Open-Source-Bibliothek namens itzma ist erschienen, um die Infrastruktur für Vektorsuche zu vereinfachen, indem sie Entwicklern erlaubt, Vektoren direkt in Objektspeicher-Buckets zu speichern und abzufragen. Die im November 2026 veröffentlichte Rust-Bibliothek mit Python-Bindings eliminiert die Notwendigkeit dedizierter Vektor-Datenbank-Server und ermöglicht es jedem Prozess mit Bucket-Zugriff, Daten unter Verwendung standardmäßiger Cloud-Speicherdienste zu schreiben und abzufragen.

Was passiert ist

Das Projekt, gehostet auf GitHub im Repository sergiommarcial/itzma, führt einen serverlosen Ansatz für die Ähnlichkeitssuche von Vektoren ein. Anstatt komplexe Cluster oder spezialisierte Datenbankinstanzen zu verwalten, können Ingenieure ihre Objektspeicher-Buckets nun als primäres Backend für Vektoroperationen nutzen. Das System unterstützt sowohl dichte als auch sparse Vektoren und bietet Flexibilität für verschiedene Machine-Learning-Workflows, einschließlich Retrieval-Augmented Generation (RAG)-Systeme.

Itzma arbeitet ohne zentralen Koordinator, Leader oder Lock-Manager. Diese Designentscheidung ermöglicht es mehreren Prozessen, gleichzeitig mit demselben Namespace zu interagieren, was es für verteilte Anwendungen geeignet macht, bei denen verschiedene Dienste aus derselben Vektorsammlung lesen oder in diese schreiben müssen. Die Bibliothek behandelt Nebenläufigkeit durch optimistische Sperrmechanismen und Write-Ahead-Logs und stellt so die Datenkonsistenz sicher, selbst wenn mehrere Writer gleichzeitig aktiv sind.

Wie es funktioniert

Der Kernmechanismus beruht darauf, Objektspeicher-Keys als strukturiertes Dateisystem zu behandeln. Jeder Namespace entspricht einem Key-Prefix, und Dokumente werden als unveränderliche Segmente gespeichert, die nach dem Bereich der Write-Ahead-Log-Einträge benannt sind, die sie enthalten. Bei einem Schreibvorgang wird dieser zunächst als einzelnes Objekt an das Write-Ahead-Log angehängt. Periodisch werden diese Log-Einträge zu größeren, unveränderlichen Segmentdateien komprimiert, die die tatsächlichen Vektordaten und Indizes enthalten.

Für Abfragen unterstützt itzma zwei primäre Index-Typen: HNSW und SQ8. HNSW baut einen Graphen über Codes mit einem Byte pro Dimension auf, was effizient ist, sobald gecacht, aber einen größeren initialen Lesevorgang erfordert. SQ8 clustert Vektoren in Partitionen und liest während einer Abfrage nur relevante Abschnitte, was besser für nicht gecachte Szenarien ist. Das System unterstützt auch sparse Vektoren mit invertierten Indizes, was hybride Suchstrategien ermöglicht. Alle Abfragen respektieren ein Read-Budget, um übermäßige Kosten durch das Scannen großer Datensätze zu verhindern, und die Bibliothek stellt sicher, dass Leser immer eine konsistente Ansicht der Daten sehen, indem sie das neueste Manifest und jeden nicht komprimierten Log-Tail lesen.

Wichtige Details

  • Storage-Backend: Funktioniert mit jedem Dienst, der die object_store-Schnittstelle implementiert, einschließlich S3, GCS, Azure und lokalem Datenträger, obwohl der lokale Datenträger keine Unterstützung für bedingte Aktualisierungen zur Komprimierung bietet.
  • Index-Typen: Unterstützt HNSW für hohe Recall-Raten mit gecachten Daten und SQ8 für effiziente nicht gecachte Lesevorgänge, wobei Benchmarks einen recall@10-Wert von über 0,98 auf Standarddatensätzen zeigen.
  • Nebenläufigkeit: Verwendet put-if-absent für Schreibvorgänge und compare-and-swap für Manifest-Aktualisierungen, wobei bis zu 32 Mal wiederholt wird, um Kontention ohne zentralen Koordinator zu handhaben.
  • Datenformate: Vektoren können über NumPy-Arrays, Arrow, Polars oder DuckDB-Tabellen eingelesen werden, mit automatischer Validierung gegen ein deklaratives Schema für Dimensionen und Attributtypen.
  • Wartung: Erfordert manuelle oder geplante Aufrufe der Funktionen compact, gc und index, da die Bibliothek keine Hintergrundtasks automatisch ausführt, obwohl ein Python-Maintainer verfügbar ist.
  • Sicherheitsfunktionen: Enthält Read-Budgets zur Begrenzung der Kostenaussetzung, atomare Batches zur Sicherstellung von Alles-oder-nichts-Schreibvorgängen und Wiederherstellungstools zum Neuaufbau von Manifesten aus vorhandenen Segmenten und Logs.

Warum es wichtig ist

Für Software-Ingenieure, die AI-Produkte entwickeln, ist der operative Overhead beim Management von Vektor-Datenbanken ein erheblicher Engpass. Traditionelle Lösungen erfordern die Bereitstellung von Servern, das Management von Skalierungsrichtlinien und die Handhabung von Netzwerklatenz zwischen Anwendungsdiensten und der Datenbank. Itzma verlagert diese Komplexität auf die Objektspeicher-Ebene, die bereits ein Grundpfeiler der meisten Cloud-Architekturen ist. Dies bedeutet, dass Teams vorhandene S3- oder GCS-Buckets für die Vektorspeicherung nutzen können, was die Infrastrukturkosten senkt und die Deployment-Pipelines vereinfacht.

Die serverlose Natur von itzma passt zudem gut zu modernen ereignisgesteuerten Architekturen. Da jeder Prozess mit Bucket-Zugriff die Daten abfragen kann, ermöglicht dies entkoppelten Microservices, den Vektorzustand zu teilen, ohne eng an eine spezifische Datenbankinstanz gekoppelt zu sein. Dies ist besonders wertvoll für RAG-Systeme, bei denen Ingestion-Pipelines und Query-Services unabhängig voneinander skalieren können. Entwickler müssen sich jedoch bewusst sein, dass die Leistung stark von Caching-Strategien und einer ordnungsgemäßen Wartungsplanung abhängt, da die Bibliothek das Erstellen von Indizes oder die Garbage Collection nicht automatisiert.

Was Sie tun können

  • Evaluieren Sie itzma für kleine bis mittelgroße RAG-Anwendungen, bei denen das Management eines dedizierten Vektor-Datenbank-Clusters überdimensioniert ist.
  • Implementieren Sie einen geplanten Worker, der regelmäßig maintain-Funktionen ausführt, um sicherzustellen, dass Segmente komprimiert und Indizes erstellt werden, um die Abfrageleistung hoch zu halten.
  • Nutzen Sie die Features CacheStore und DecodedCache, um die Leseleistung zu optimieren, insbesondere wenn Ihre Workload häufige Abfragen auf heißen Daten umfasst.
  • Testen Sie die Nebenläufigkeitsgrenzen in Ihrer spezifischen Umgebung, da das Limit von 32 Wiederholungen für Schreibkontention möglicherweise für High-Throughput-Ingestion-Pipelines angepasst werden muss.
  • Nutzen Sie die Python-Bindings zur Integration in bestehende Datenverarbeitungsstacks unter Verwendung von Arrow oder Polars für effiziente Batch-Uploads.
  • Überwachen Sie Read-Budgets in der Produktion genau, um unerwartete Kosten durch große Scans zu vermeiden, und passen Sie DEFAULT_READ_BUDGET bei Bedarf an die Größe Ihres Datensatzes an.
  • #vector search
  • #rust
  • #python
  • #object storage
  • #serverless
  • #rag

Tools aus dem Bytechap-Shop

$89

DocBento

Selbst gehostetes Dokumentenmanagement, das jeden Scan liest und mit Seitenzitaten antwortet.

Live-Demo

Weiterlesen

Alle Artikel