Sibyl ofrece un servidor de inferencia de IA autoalojado y endurecido para GPUs locales

Un nuevo proyecto de código abierto llamado Sibyl tiene como objetivo simplificar el despliegue de servidores privados de inferencia de modelos de lenguaje grandes (LLM) a nivel local. Publicado en estado pre-alfa en GitHub por diffsec, esta herramienta transforma un ordenador equipado con una o más unidades de procesamiento gráfico (GPU) en un host de IA seguro y autónomo. Admite hardware de AMD, NVIDIA e Intel, ofreciendo una interfaz unificada para gestionar modelos y atender solicitudes sin depender de proveedores externos de nube.

Qué ha ocurrido

Sibyl está diseñado como un servidor de inferencia todo en uno que gestiona desde la seguridad del sistema operativo hasta la administración de modelos. El proyecto proporciona un host endurecido basado en Fedora bootc, lo que garantiza que el sistema operativo sea una imagen inmutable y firmada. Este enfoque permite actualizaciones y rollbacks atómicos, reduciendo el riesgo de desviación o corrupción de la configuración. El sistema aplica políticas SELinux, habilita Secure Boot y cifra el disco utilizando LUKS2, con claves de descifrado gestionadas por el chip TPM2.

La pila de software incluye llama.cpp para servir modelos GGUF, utilizando llama-swap para cargar y cambiar modelos bajo demanda. Esta arquitectura permite que un único modelo se distribuya entre múltiples GPUs o que cada GPU ejecute un modelo diferente simultáneamente. Sibyl también integra Open WebUI, proporcionando una interfaz de chat con capacidades de búsqueda documental impulsadas por un modelo de embeddings local. Para los desarrolladores, expone APIs estándar, incluidos endpoints compatibles con OpenAI, Anthropic Messages y Ollama, todos protegidos detrás de TLS y con claves API por programa.

La instalación está diseñada para ser sencilla, admitiendo el despliegue mediante una memoria USB o a través de la red usando PXE. El instalador borra el disco de destino, imprime una clave de recuperación y configura la cuenta de administrador. Una vez instalado, los usuarios pueden gestionar el servidor a través de una consola web o una interfaz de línea de comandos terminal. Estas consolas permiten acceder a asistentes de configuración, monitoreo de estado, descargas de modelos, configuración del router y actualizaciones del sistema. El proyecto también incluye Arcane, una función que permite a los usuarios ejecutar sus propios contenedores junto con la pila de inferencia.

Cómo funciona

Sibyl opera combinando un sistema operativo seguro e inmutable con una capa flexible de enrutamiento de modelos. En el núcleo se encuentra un router de modelos que puede dirigir las solicitudes a modelos locales o a proveedores de nube externos basándose en reglas definidas por el usuario. Este router admite una configuración de modelo "auto", que selecciona el backend adecuado para cada solicitud. Los usuarios pueden establecer presupuestos para programas específicos y crear reglas que garanticen que cualquier solicitud que contenga secretos permanezca en el host local, evitando fugas de datos hacia servicios de terceros.

La gestión de modelos se realiza directamente dentro del sistema, que busca archivos compatibles en Hugging Face. Evalúa si los modelos caben en la memoria GPU disponible y gestiona las descargas con capacidad de reanudación y verificación de checksums. Cada modelo puede configurarse con parámetros específicos para el tamaño del contexto, caché, muestreo, razonamiento y decodificación especulativa. Este control granular permite a los ingenieros optimizar el rendimiento y el uso de recursos para diferentes cargas de trabajo sin editar manualmente archivos de configuración fuera de las interfaces proporcionadas.

Detalles clave

• Soporte de hardware: Existen variantes para AMD (Radeon y Ryzen AI), NVIDIA (GeForce y GPUs de centro de datos desde Turing en adelante) e Intel (Arc y gráficos integrados recientes).
• Tecnologías de backend: AMD utiliza HIP (ROCm) y Vulkan; NVIDIA utiliza CUDA y Vulkan; Intel utiliza Vulkan. La variante de AMD ha sido probada en tarjetas Radeon RX 7900 XTX.
• Compatibilidad con APIs: Sirve endpoints compatibles con OpenAI (/v1), Anthropic Messages y Ollama (/api) detrás de TLS.
• Características de seguridad: Utiliza Fedora bootc para actualizaciones inmutables del SO, aplicando SELinux, Secure Boot y cifrado de disco LUKS2 desbloqueado por TPM2.
• Interfaces de gestión: Proporciona tanto una consola web en el puerto 8443 como un comando de consola terminal sibyl para el control total del sistema.
• Licencia: Publicado bajo la Licencia Pública General Affero de GNU v3.0, con licencias comerciales disponibles del mantenedor.

Por qué es importante

Para los equipos de software que construyen productos habilitados por IA, la privacidad de los datos y el control de la infraestructura son preocupaciones críticas. Los servicios de inferencia basados en la nube a menudo requieren enviar datos sensibles a servidores externos, lo cual puede violar requisitos de cumplimiento normativo o exponer información propietaria. Sibyl aborda esto manteniendo toda la inferencia local, asegurando que los datos nunca salgan de las instalaciones a menos que sean dirigidos explícitamente por reglas definidas por el usuario. La naturaleza inmutable del sistema operativo del host reduce aún más la superficie de ataque, haciéndolo adecuado para entornos donde las auditorías de seguridad y los controles de acceso estrictos son obligatorios.

La estandarización de las APIs también reduce la barrera de entrada para adoptar la inferencia local. Los desarrolladores pueden utilizar clientes y bibliotecas existentes diseñados para OpenAI u Ollama sin reescribir código. Esta compatibilidad significa que los equipos pueden alternar sin problemas entre proveedores en la nube y locales, o usar un enfoque híbrido donde las tareas sensibles se ejecutan localmente y las menos críticas utilizan recursos en la nube. La capacidad de gestionar modelos, monitorear el uso y configurar el enrutamiento a través de una consola unificada simplifica las operaciones, reduciendo la sobrecarga de DevOps típicamente asociada con la infraestructura de IA autoalojada.

Qué puedes hacer

• Descarga la ISO live para tu variante específica de proveedor de GPU utilizando el comando oras pull proporcionado en la documentación.
• Graba la ISO en una memoria USB y arranca tu máquina objetivo con Secure Boot habilitado para comenzar la instalación.
• Revisa la lista de compatibilidad de hardware, teniendo en cuenta que solo la variante de AMD ha sido completamente probada en hardware físico hasta ahora.
• Explora la configuración del router de modelos para definir reglas que mantengan las solicitudes sensibles locales mientras permiten que otras usen proveedores de nube.
• Contribuye al proyecto probando las variantes de NVIDIA o Intel si tienes acceso a hardware compatible, e informa de problemas en GitHub.
• Lee el archivo CONTRIBUTING.md para entender el proceso de firma del Acuerdo de Licencia de Contribuidor antes de enviar parches.