Données et documents

Itzma apporte la recherche vectorielle serverless au stockage objet avec Rust et Python

Itzma est une nouvelle bibliothèque permettant d'effectuer des recherches vectorielles directement sur le stockage objet, comme S3, éliminant ainsi le besoin de serveurs de bases de données vectorielles dédiés tout en prenant en charge les index HNSW et SQ8.

Cube en verre avec des vecteurs lumineux au-dessus d'une icône de stockage cloud
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Une nouvelle bibliothèque open-source nommée itzma a fait son apparition pour simplifier l'infrastructure de recherche vectorielle en permettant aux développeurs de stocker et d'interroger des vecteurs directement dans des buckets de stockage objet. Publiée à la mi-novembre 2026, cette bibliothèque écrite en Rust avec des liaisons Python supprime la nécessité de serveurs de bases de données vectorielles dédiés, permettant à tout processus ayant accès au bucket d'écrire et d'interroger des données via des services de stockage cloud standard.

Ce qui s'est passé

Le projet, hébergé sur GitHub sous le dépôt sergiommarcial/itzma, introduit une approche serverless pour la recherche de similarité vectorielle. Au lieu de gérer des clusters complexes ou des instances de bases de données spécialisées, les ingénieurs peuvent désormais utiliser leurs buckets de stockage objet comme backend principal pour les opérations vectorielles. Le système prend en charge les vecteurs denses et épars, offrant ainsi une flexibilité pour divers workflows d'apprentissage automatique, y compris les systèmes de génération augmentée par récupération (RAG).

Itzma fonctionne sans coordinateur central, leader ni gestionnaire de verrous. Ce choix de conception permet à plusieurs processus d'interagir simultanément avec le même espace de noms, ce qui le rend adapté aux applications distribuées où différents services pourraient devoir lire ou écrire dans la même collection de vecteurs. La bibliothèque gère la concurrence grâce à des mécanismes de verrouillage optimiste et à des journaux d'écriture anticipée (write-ahead logs), garantissant la cohérence des données même lorsque plusieurs écritures sont actives simultanément.

Comment cela fonctionne

Le mécanisme central repose sur le traitement des clés de stockage objet comme un système de fichiers structuré. Chaque espace de noms correspond à un préfixe de clé, et les documents sont stockés sous forme de segments immuables nommés selon la plage d'entrées du journal d'écriture anticipée qu'ils contiennent. Lors d'une écriture, celle-ci est d'abord ajoutée à un journal d'écriture anticipée sous forme d'un seul objet. Périodiquement, ces entrées de journal sont compactées en fichiers de segment plus grands et immuables contenant les données vectorielles réelles et les index.

Pour les requêtes, itzma prend en charge deux types principaux d'index : HNSW et SQ8. HNSW construit un graphe sur des codes d'un octet par dimension, ce qui est efficace une fois mis en cache mais nécessite une lecture initiale plus importante. SQ8 regroupe les vecteurs en partitions, ne lisant que les sections pertinentes lors d'une requête, ce qui est préférable pour les scénarios non mis en cache. Le système prend également en charge les vecteurs épars avec des index inversés, permettant des stratégies de recherche hybride. Toutes les requêtes respectent un budget de lecture pour éviter des coûts excessifs liés au balayage de grands jeux de données, et la bibliothèque garantit que les lecteurs voient toujours une vue cohérente des données en lisant le dernier manifeste et toute queue de journal non compactée.

Détails clés

  • Backend de stockage : Fonctionne avec tout service implémentant l'interface object_store, y compris S3, GCS, Azure et le disque local, bien que le disque local ne prenne pas en charge les mises à jour conditionnelles pour la compaction.
  • Types d'index : Prend en charge HNSW pour un rappel élevé avec des données mises en cache et SQ8 pour des lectures efficaces hors cache, avec des benchmarks montrant un recall@10 supérieur à 0,98 sur des jeux de données standards.
  • Concurrence : Utilise put-if-absent pour les écritures et compare-and-swap pour les mises à jour des manifestes, effectuant jusqu'à 32 tentatives pour gérer la contention sans coordinateur central.
  • Formats de données : Les vecteurs peuvent être ingérés via des tableaux NumPy, Arrow, Polars ou des tables DuckDB, avec une validation automatique par rapport à un schéma déclaré pour les dimensions et les types d'attributs.
  • Maintenance : Nécessite des appels manuels ou planifiés aux fonctions compact, gc et index, car la bibliothèque n'exécute pas de tâches en arrière-plan automatiquement, bien qu'un mainteneur Python soit disponible.
  • Fonctionnalités de sécurité : Inclut des budgets de lecture pour limiter l'exposition aux coûts, des lots atomiques pour garantir des écritures tout-ou-rien, et des outils de récupération pour reconstruire les manifestes à partir des segments et journaux existants.

Pourquoi c'est important

Pour les ingénieurs logiciels développant des produits IA, la surcharge opérationnelle liée à la gestion des bases de données vectorielles constitue un goulot d'étranglement significatif. Les solutions traditionnelles nécessitent le provisionnement de serveurs, la gestion des politiques de mise à l'échelle et le traitement de la latence réseau entre les services applicatifs et la base de données. Itzma déplace cette complexité vers la couche de stockage objet, qui est déjà une pierre angulaire de la plupart des architectures cloud. Cela signifie que les équipes peuvent exploiter les buckets S3 ou GCS existants pour le stockage vectoriel, réduisant ainsi les coûts d'infrastructure et simplifiant les pipelines de déploiement.

La nature serverless d'itzma s'aligne également bien avec les architectures modernes pilotées par événements. Puisque tout processus ayant accès au bucket peut interroger les données, cela permet aux microservices découplés de partager l'état vectoriel sans couplage étroit avec une instance spécifique de base de données. Ceci est particulièrement précieux pour les systèmes RAG où les pipelines d'ingestion et les services de requête peuvent évoluer indépendamment. Cependant, les développeurs doivent être conscients que les performances dépendent fortement des stratégies de mise en cache et d'une planification adéquate de la maintenance, car la bibliothèque n'automatise pas la construction d'index ni la collecte des déchets.

Ce que vous pouvez faire

  • Évaluez itzma pour les applications RAG à petite et moyenne échelle où la gestion d'un cluster dédié de base de données vectorielle est excessive.
  • Implémentez un worker planifié pour exécuter régulièrement les fonctions maintain, afin de garantir que les segments sont compactés et les index construits pour maintenir des performances de requête élevées.
  • Utilisez les fonctionnalités CacheStore et DecodedCache pour optimiser les performances de lecture, surtout si votre charge de travail implique des requêtes fréquentes sur des données chaudes.
  • Testez les limites de concurrence dans votre environnement spécifique, car la limite de 32 tentatives pour la contention d'écriture pourrait nécessiter un ajustement pour les pipelines d'ingestion à haut débit.
  • Exploitez les liaisons Python pour intégrer avec les piles de traitement de données existantes utilisant Arrow ou Polars pour des téléversements par lots efficaces.
  • Surveillez attentivement les budgets de lecture en production pour éviter des coûts inattendus liés aux grands balayages, en ajustant DEFAULT_READ_BUDGET selon la taille de votre jeu de données.
  • #vector search
  • #rust
  • #python
  • #object storage
  • #serverless
  • #rag

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles