Sibyl bietet einen gehärteten, selbst gehosteten KI-Inferenzserver für lokale GPUs

Ein neues Open-Source-Projekt namens Sibyl zielt darauf ab, die Bereitstellung von privaten, lokalen Inferenzservern für große Sprachmodelle zu vereinfachen. Das Tool wurde von diffsec im Pre-Alpha-Stadium auf GitHub veröffentlicht und verwandelt einen Computer, der mit einer oder mehreren Grafikprozessoren (GPUs) ausgestattet ist, in einen sicheren, autarken KI-Host. Es unterstützt Hardware von AMD, NVIDIA und Intel und bietet eine einheitliche Schnittstelle zur Verwaltung von Modellen und zur Bearbeitung von Anfragen, ohne auf externe Cloud-Anbieter angewiesen zu sein.

Was passiert ist

Sibyl ist als All-in-One-Inferenzserver konzipiert, der alles von der Betriebssystem-Sicherheit bis zum Modellmanagement abdeckt. Das Projekt stellt einen gehärteten Host bereit, der auf Fedora bootc basiert und sicherstellt, dass das Betriebssystem ein unveränderliches, signiertes Image ist. Dieser Ansatz ermöglicht atomare Updates und Rollbacks und reduziert so das Risiko von Konfigurationsdrift oder Beschädigungen. Das System erzwingt SELinux-Richtlinien, aktiviert Secure Boot und verschlüsselt die Festplatte mit LUKS2, wobei die Entschlüsselungsschlüssel vom TPM2-Chip verwaltet werden.

Der Software-Stack umfasst llama.cpp zur Bereitstellung von GGUF-Modellen unter Verwendung von llama-swap, um Modelle bei Bedarf zu laden und zu wechseln. Diese Architektur erlaubt es einem einzelnen Modell, sich über mehrere GPUs zu erstrecken, oder jeder GPU, gleichzeitig ein anderes Modell auszuführen. Sibyl integriert zudem Open WebUI und stellt eine Chat-Oberfläche mit Dokumentensuchfunktionen bereit, die durch ein lokales Einbettungsmodell (Embedding Model) angetrieben wird. Für Entwickler werden Standard-APIs freigegeben, einschließlich OpenAI-kompatibler, Anthropic Messages- und Ollama-kompatibler Endpunkte, die alle hinter TLS und programmbezogenen API-Schlüsseln gesichert sind.

Die Installation ist einfach gestaltet und unterstützt die Bereitstellung über USB-Stick oder über das Netzwerk mittels PXE. Der Installer löscht die Ziel-Festplatte, druckt einen Wiederherstellungsschlüssel aus und richtet das Administratorkonto ein. Nach der Installation können Benutzer den Server über eine Web-Konsole oder eine Terminal-Befehlszeilenschnittstelle verwalten. Diese Konsolen bieten Zugriff auf Einrichtungsassistenten, Statusüberwachung, Modell-Downloads, Router-Konfiguration und Systemupdates. Das Projekt enthält außerdem Arcane, eine Funktion, die es Benutzern ermöglicht, eigene Container neben dem Inferenz-Stack auszuführen.

Wie es funktioniert

Sibyl arbeitet, indem es ein sicheres, unveränderliches Betriebssystem mit einer flexiblen Modell-Routing-Ebene kombiniert. Im Kern befindet sich ein Modell-Router, der Anfragen basierend auf benutzerdefinierten Regeln an lokale Modelle oder externe Cloud-Anbieter weiterleiten kann. Dieser Router unterstützt eine "auto"-Modelleinstellung, die das geeignete Backend für jede Anfrage auswählt. Benutzer können Budgets für bestimmte Programme festlegen und Regeln erstellen, die sicherstellen, dass jede Anfrage, die Geheimnisse enthält, auf dem lokalen Host verbleibt, um Datenlecks an Drittanbieterdienste zu verhindern.

Das Modellmanagement wird direkt innerhalb des Systems gehandhabt, das Hugging Face nach kompatiblen Dateien durchsucht. Es bewertet, ob Modelle in den verfügbaren GPU-Speicher passen, und verarbeitet Downloads mit Wiederaufnahmefunktion und Prüfsummenverifizierung. Jedes Modell kann mit spezifischen Parametern für Kontextgröße, Cache, Sampling, Reasoning und spekulatives Decoding konfiguriert werden. Diese granulare Steuerung ermöglicht es Ingenieuren, Leistung und Ressourcennutzung für verschiedene Workloads zu optimieren, ohne Konfigurationsdateien außerhalb der bereitgestellten Schnittstellen manuell bearbeiten zu müssen.

Wichtige Details

• Hardwareunterstützung: Es gibt Varianten für AMD (Radeon und Ryzen AI), NVIDIA (GeForce und Data-Center-GPUs ab Turing-Architektur) und Intel (Arc und aktuelle integrierte Grafikeinheiten).
• Backend-Technologien: AMD nutzt HIP (ROCm) und Vulkan; NVIDIA nutzt CUDA und Vulkan; Intel nutzt Vulkan. Die AMD-Variante wurde auf Radeon RX 7900 XTX Karten getestet.
• API-Kompatibilität: Dient OpenAI-kompatible (/v1), Anthropic Messages- und Ollama-kompatible (/api) Endpunkte hinter TLS.
• Sicherheitsmerkmale: Nutzt Fedora bootc für unveränderliche OS-Updates, erzwingt SELinux, Secure Boot und LUKS2-Festplattenverschlüsselung, entriegelt durch TPM2.
• Verwaltungsschnittstellen: Bietet sowohl eine Web-Konsole auf Port 8443 als auch eine Terminal-Konsolenbefehl sibyl für die vollständige Systemkontrolle.
• Lizenz: Veröffentlicht unter der GNU Affero General Public License v3.0, kommerzielle Lizenzen sind vom Maintainer erhältlich.

Warum es wichtig ist

Für Softwareteams, die KI-fähige Produkte entwickeln, sind Datenschutz und Infrastrukturkontrolle entscheidende Anliegen. Cloud-basierte Inferenzdienste erfordern oft das Senden sensibler Daten an externe Server, was Compliance-Anforderungen verletzen oder proprietäre Informationen gefährden kann. Sibyl löst dieses Problem, indem es die gesamte Inferenz lokal hält und sicherstellt, dass Daten niemals die Räumlichkeiten verlassen, es sei denn, sie werden explizit durch benutzerdefinierte Regeln weitergeleitet. Die Unveränderlichkeit des Host-Betriebssystems reduziert zusätzlich die Angriffsfläche und macht es geeignet für Umgebungen, in denen Sicherheitsaudits und strenge Zugriffskontrollen obligatorisch sind.

Die Standardisierung der APIs senkt zudem die Einstiegshürde für die Nutzung lokaler Inferenz. Entwickler können bestehende Clients und Bibliotheken verwenden, die für OpenAI oder Ollama entwickelt wurden, ohne Code neu schreiben zu müssen. Diese Kompatibilität bedeutet, dass Teams nahtlos zwischen Cloud- und lokalen Anbietern wechseln oder einen hybriden Ansatz nutzen können, bei dem sensible Aufgaben lokal ausgeführt werden und weniger kritische Aufgaben Cloud-Ressourcen nutzen. Die Fähigkeit, Modelle zu verwalten, die Nutzung zu überwachen und Routing über eine einheitliche Konsole zu konfigurieren, vereinfacht den Betrieb und reduziert den DevOps-Aufwand, der typischerweise mit selbst gehosteter KI-Infrastruktur verbunden ist.

Was Sie tun können

• Laden Sie die Live-ISO für Ihre spezifische GPU-Anbieter-Variante herunter, indem Sie den in der Dokumentation angegebenen oras pull Befehl verwenden.
• Schreiben Sie die ISO auf einen USB-Stick und starten Sie Ihren Zielcomputer mit aktiviertem Secure Boot, um die Installation zu beginnen.
• Überprüfen Sie die Liste der Hardwarekompatibilität und beachten Sie, dass bisher nur die AMD-Variante vollständig auf physischer Hardware getestet wurde.
• Erkunden Sie die Einstellungen des Modell-Routers, um Regeln zu definieren, die sensible Anfragen lokal halten, während andere Cloud-Anbieter nutzen dürfen.
• Tragen Sie zum Projekt bei, indem Sie die NVIDIA- oder Intel-Varianten testen, wenn Sie Zugang zu kompatibler Hardware haben, und melden Sie Probleme auf GitHub.
• Lesen Sie die Datei CONTRIBUTING.md, um den Prozess für die Unterzeichnung der Contributor License Agreement vor dem Einreichen von Patches zu verstehen.