Datos y documentos

Itzma lleva la búsqueda vectorial sin servidores al almacenamiento de objetos con Rust y Python

Itzma es una nueva biblioteca que permite realizar búsquedas vectoriales directamente en el almacenamiento de objetos, como S3, eliminando la necesidad de servidores dedicados de bases de datos vectoriales, mientras soporta índices HNSW y SQ8.

Cubo de vidrio con vectores brillantes sobre un icono de almacenamiento en la nube
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Ha surgido una nueva biblioteca de código abierto llamada itzma para simplificar la infraestructura de búsqueda vectorial, permitiendo a los desarrolladores almacenar y consultar vectores directamente en buckets de almacenamiento de objetos. Lanzada a mediados de noviembre de 2026, esta biblioteca escrita en Rust con enlaces (bindings) para Python elimina la necesidad de servidores dedicados de bases de datos vectoriales, permitiendo que cualquier proceso con acceso al bucket escriba y consulte datos utilizando servicios estándar de almacenamiento en la nube.

Qué ocurrió

El proyecto, alojado en GitHub bajo el repositorio sergiommarcial/itzma, introduce un enfoque sin servidores (serverless) para la búsqueda de similitud vectorial. En lugar de gestionar clústeres complejos o instancias especializadas de bases de datos, los ingenieros pueden ahora tratar sus buckets de almacenamiento de objetos como el backend principal para operaciones vectoriales. El sistema soporta tanto vectores densos como dispersos, ofreciendo flexibilidad para diversos flujos de trabajo de aprendizaje automático, incluidos los sistemas de generación aumentada por recuperación (RAG).

Itzma opera sin un coordinador central, líder o gestor de bloqueos. Esta decisión de diseño permite que múltiples procesos interactúen concurrentemente con el mismo espacio de nombres, haciéndolo adecuado para aplicaciones distribuidas donde diferentes servicios podrían necesitar leer de o escribir en la misma colección de vectores. La biblioteca gestiona la concurrencia mediante mecanismos de bloqueo optimista y registros previos a la escritura (write-ahead logs), garantizando la consistencia de los datos incluso cuando hay múltiples escritores activos simultáneamente.

Cómo funciona

El mecanismo central se basa en tratar las claves del almacenamiento de objetos como un sistema de archivos estructurado. Cada espacio de nombres corresponde a un prefijo de clave, y los documentos se almacenan como segmentos inmutables nombrados según el rango de entradas del registro previo a la escritura que contienen. Cuando ocurre una escritura, primero se añade al registro previo a la escritura como un único objeto. Periódicamente, estas entradas del registro se compactan en archivos de segmento más grandes e inmutables que contienen los datos vectoriales reales y los índices.

Para las consultas, itzma soporta dos tipos principales de índice: HNSW y SQ8. HNSW construye un grafo sobre códigos de un byte por dimensión, lo cual es eficiente una vez cacheado pero requiere una lectura inicial mayor. SQ8 agrupa los vectores en particiones, leyendo solo las secciones relevantes durante una consulta, lo cual es mejor para escenarios sin caché. El sistema también soporta vectores dispersos con índices invertidos, permitiendo estrategias de búsqueda híbrida. Todas las consultas respetan un presupuesto de lectura para prevenir costes excesivos derivados del escaneo de grandes conjuntos de datos, y la biblioteca asegura que los lectores siempre vean una vista consistente de los datos al leer el manifiesto más reciente y cualquier cola de registro no compactada.

Detalles clave

  • Backend de almacenamiento: Funciona con cualquier servicio que implemente la interfaz object_store, incluyendo S3, GCS, Azure y disco local, aunque el disco local carece de soporte para actualizaciones condicionales necesarias para la compactación.
  • Tipos de índice: Soporta HNSW para alta recuperación (recall) con datos cacheados y SQ8 para lecturas eficientes sin caché, con benchmarks que muestran un recall@10 superior a 0.98 en conjuntos de datos estándar.
  • Concurrencia: Utiliza put-if-absent para escrituras y compare-and-swap para actualizaciones de manifiestos, reintentando hasta 32 veces para manejar la contención sin un coordinador central.
  • Formatos de datos: Los vectores pueden ingiriirse mediante arrays de NumPy, Arrow, Polars o tablas de DuckDB, con validación automática contra un esquema declarado para dimensiones y tipos de atributos.
  • Mantenimiento: Requiere llamadas manuales o programadas a las funciones compact, gc e index, ya que la biblioteca no ejecuta tareas en segundo plano automáticamente, aunque está disponible un mantenedor en Python.
  • Características de seguridad: Incluye presupuestos de lectura para limitar la exposición a costes, lotes atómicos para garantizar escrituras todo-o-nada, y herramientas de recuperación para reconstruir manifiestos desde segmentos y registros existentes.

Por qué importa

Para los ingenieros de software que construyen productos de IA, la sobrecarga operativa de gestionar bases de datos vectoriales es un cuello de botella significativo. Las soluciones tradicionales requieren aprovisionar servidores, gestionar políticas de escalado y manejar la latencia de red entre los servicios de aplicación y la base de datos. Itzma desplaza esta complejidad a la capa de almacenamiento de objetos, que ya es un pilar en la mayoría de las arquitecturas en la nube. Esto significa que los equipos pueden aprovechar los buckets existentes de S3 o GCS para el almacenamiento vectorial, reduciendo los costes de infraestructura y simplificando las tuberías de despliegue.

La naturaleza sin servidores de itzma también se alinea bien con las arquitecturas modernas orientadas a eventos. Dado que cualquier proceso con acceso al bucket puede consultar los datos, esto permite que microservicios desacoplados compartan el estado vectorial sin un acoplamiento fuerte a una instancia específica de base de datos. Esto es particularmente valioso para los sistemas RAG donde las tuberías de ingesta y los servicios de consulta pueden escalar independientemente. Sin embargo, los desarrolladores deben ser conscientes de que el rendimiento depende en gran medida de las estrategias de caché y de una programación adecuada del mantenimiento, ya que la biblioteca no automatiza la construcción de índices ni la recolección de basura.

Qué puedes hacer

  • Evalúa itzma para aplicaciones RAG de pequeña a mediana escala donde gestionar un clúster dedicado de base de datos vectorial resulta excesivo.
  • Implementa un trabajador programado para ejecutar regularmente las funciones de maintain, asegurando que los segmentos se compacten y los índices se construyan para mantener un alto rendimiento de consulta.
  • Utiliza las características CacheStore y DecodedCache para optimizar el rendimiento de lectura, especialmente si tu carga de trabajo implica consultas frecuentes sobre datos calientes.
  • Prueba los límites de concurrencia en tu entorno específico, ya que el límite de 32 reintentos para la contención de escrituras podría necesitar ajuste para tuberías de ingesta de alto rendimiento.
  • Aprovecha los enlaces de Python para integrar con stacks existentes de procesamiento de datos usando Arrow o Polars para cargas masivas eficientes.
  • Monitoriza estrechamente los presupuestos de lectura en producción para evitar costes inesperados derivados de escaneos grandes, ajustando el DEFAULT_READ_BUDGET según sea necesario para el tamaño de tu conjunto de datos.
  • #vector search
  • #rust
  • #python
  • #object storage
  • #serverless
  • #rag

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos