Sibyl propose un serveur d'inférence IA durci et auto-hébergé pour GPU locaux

Un nouveau projet open source nommé Sibyl vise à simplifier le déploiement de serveurs d'inférence privés et locaux pour grands modèles de langage. Publié en statut pré-alpha sur GitHub par diffsec, cet outil transforme un ordinateur équipé d'un ou plusieurs processeurs graphiques en un hôte IA sécurisé et autonome. Il prend en charge le matériel d'AMD, de NVIDIA et d'Intel, offrant une interface unifiée pour la gestion des modèles et le traitement des requêtes sans dépendre de fournisseurs cloud externes.

Ce qui s'est passé

Sibyl est conçu comme un serveur d'inférence tout-en-un qui gère tout, de la sécurité du système d'exploitation à la gestion des modèles. Le projet fournit un hôte durci basé sur Fedora bootc, garantissant que le système d'exploitation est une image immuable et signée. Cette approche permet des mises à jour atomiques et des retours arrière (rollbacks), réduisant le risque de dérive ou de corruption de la configuration. Le système applique les politiques SELinux, active le Secure Boot et chiffre le disque à l'aide de LUKS2, les clés de déchiffrement étant gérées par la puce TPM2.

La pile logicielle inclut llama.cpp pour servir les modèles GGUF, utilisant llama-swap pour charger et basculer entre les modèles à la demande. Cette architecture permet à un seul modèle de s'étendre sur plusieurs GPU ou autorise chaque GPU à exécuter simultanément un modèle différent. Sibyl intègre également Open WebUI, fournissant une interface de chat avec des capacités de recherche documentaire alimentées par un modèle d'embedding local. Pour les développeurs, il expose des API standard, y compris des endpoints compatibles OpenAI, Anthropic Messages et Ollama, tous sécurisés derrière TLS et des clés API par programme.

L'installation est conçue pour être simple, prenant en charge le déploiement via clé USB ou par réseau à l'aide de PXE. L'installateur efface le disque cible, imprime une clé de récupération et configure le compte administrateur. Une fois installé, les utilisateurs peuvent gérer le serveur via une console web ou une interface en ligne de commande terminal. Ces consoles donnent accès aux assistants de configuration, au suivi de l'état, aux téléchargements de modèles, à la configuration du routeur et aux mises à jour du système. Le projet inclut également Arcane, une fonctionnalité permettant aux utilisateurs d'exécuter leurs propres conteneurs parallèlement à la pile d'inférence.

Comment cela fonctionne

Sibyl opère en combinant un système d'exploitation sécurisé et immuable avec une couche flexible de routage des modèles. Au cœur se trouve un routeur de modèles capable de diriger les requêtes vers des modèles locaux ou des fournisseurs cloud externes selon des règles définies par l'utilisateur. Ce routeur prend en charge un paramètre de modèle « auto », qui sélectionne le backend approprié pour chaque requête. Les utilisateurs peuvent définir des budgets pour des programmes spécifiques et créer des règles garantissant que toute requête contenant des secrets reste sur l'hôte local, empêchant ainsi la fuite de données vers des services tiers.

La gestion des modèles est traitée directement au sein du système, qui recherche des fichiers compatibles sur Hugging Face. Il évalue si les modèles tiennent dans la mémoire GPU disponible et gère les téléchargements avec reprise possible et vérification de somme de contrôle. Chaque modèle peut être configuré avec des paramètres spécifiques pour la taille du contexte, le cache, l'échantillonnage, le raisonnement et le décodage spéculatif. Ce contrôle granulaire permet aux ingénieurs d'optimiser les performances et l'utilisation des ressources pour différentes charges de travail sans éditer manuellement les fichiers de configuration en dehors des interfaces fournies.

Détails clés

• Prise en charge matérielle : Des variantes existent pour AMD (Radeon et Ryzen AI), NVIDIA (GeForce et GPU de centre de données à partir de Turing) et Intel (Arc et graphiques intégrés récents).
• Technologies backend : AMD utilise HIP (ROCm) et Vulkan ; NVIDIA utilise CUDA et Vulkan ; Intel utilise Vulkan. La variante AMD a été testée sur des cartes Radeon RX 7900 XTX.
• Compatibilité API : Sert des endpoints compatibles OpenAI (/v1), Anthropic Messages et Ollama (/api) derrière TLS.
• Fonctionnalités de sécurité : Utilise Fedora bootc pour des mises à jour OS immuables, appliquant SELinux, Secure Boot et le chiffrement de disque LUKS2 débloqué par TPM2.
• Interfaces de gestion : Fournit à la fois une console web sur le port 8443 et une commande de console terminal sibyl pour un contrôle complet du système.
• Licence : Publiée sous la GNU Affero General Public License v3.0, avec des licences commerciales disponibles auprès du mainteneur.

Pourquoi c'est important

Pour les équipes logicielles développant des produits intégrant l'IA, la confidentialité des données et le contrôle de l'infrastructure sont des préoccupations critiques. Les services d'inférence basés sur le cloud nécessitent souvent l'envoi de données sensibles vers des serveurs externes, ce qui peut violer les exigences de conformité ou exposer des informations propriétaires. Sibyl répond à cela en maintenant toute l'inférence locale, garantissant que les données ne quittent jamais les locaux sauf si elles sont explicitement routées par des règles définies par l'utilisateur. La nature immuable du système d'exploitation hôte réduit davantage la surface d'attaque, le rendant adapté aux environnements où les audits de sécurité et les contrôles d'accès stricts sont obligatoires.

La normalisation des API abaisse également la barrière à l'entrée pour l'adoption de l'inférence locale. Les développeurs peuvent utiliser des clients et bibliothèques existants conçus pour OpenAI ou Ollama sans réécrire le code. Cette compatibilité signifie que les équipes peuvent passer sans couture entre les fournisseurs cloud et locaux, ou utiliser une approche hybride où les tâches sensibles s'exécutent localement et les moins critiques utilisent les ressources cloud. La capacité de gérer les modèles, surveiller l'utilisation et configurer le routage via une console unifiée simplifie les opérations, réduisant la charge DevOps généralement associée à l'infrastructure IA auto-hébergée.

Ce que vous pouvez faire

• Téléchargez l'ISO live pour votre variante spécifique de fournisseur GPU en utilisant la commande oras pull fournie dans la documentation.
• Écrivez l'ISO sur une clé USB et démarrez votre machine cible avec Secure Boot activé pour commencer l'installation.
• Consultez la liste de compatibilité matérielle, en notant que seule la variante AMD a été entièrement testée sur du matériel physique jusqu'à présent.
• Explorez les paramètres du routeur de modèles pour définir des règles qui maintiennent les requêtes sensibles locales tout en permettant aux autres d'utiliser des fournisseurs cloud.
• Contribuez au projet en testant les variantes NVIDIA ou Intel si vous avez accès à du matériel compatible, et signalez les problèmes sur GitHub.
• Lisez le fichier CONTRIBUTING.md pour comprendre le processus de signature du Contrat de Licence Contributeur avant de soumettre des correctifs.