Sibyl、ローカルGPU向けに強化されたセルフホスト型AI推論サーバーを提供

「Sibyl」という新しいオープンソースプロジェクトは、プライベートなローカル大規模言語モデル（LLM）推論サーバーのデプロイを簡素化することを目的としています。diffsecによってGitHubでプレアルファステータスとしてリリースされたこのツールは、1つ以上のグラフィックス処理ユニット（GPU）を搭載したコンピュータを、安全で自己完結型のAIホストに変換します。AMD、NVIDIA、Intelのハードウェアをサポートしており、外部クラウドプロバイダーに依存せずにモデル管理とリクエスト配信を行うための統一インターフェースを提供します。

何が起きたか

Sibylは、オペレーティングシステムのセキュリティからモデル管理までを一手に引き受けるオールインワン推論サーバーとして設計されています。本プロジェクトは、Fedora bootcに基づく強化されたホストを提供し、オペレーティングシステムが不変かつ署名付きイメージであることを保証します。このアプローチにより、アトミックな更新とロールバックが可能になり、設定のドリフトや破損のリスクを低減します。システムはSELinuxポリシーを強制し、Secure Bootを有効にし、LUKS2を使用してディスクを暗号化します。復号鍵はTPM2チップによって管理されます。

ソフトウェアスタックには、GGUFモデルの提供用にllama.cppが含まれており、オンデマンドでのモデルロードと切り替えにllama-swapを利用しています。このアーキテクチャにより、単一のモデルを複数のGPUにまたがって実行したり、各GPUで異なるモデルを同時に実行したりすることが可能です。SibylはさらにOpen WebUIを統合しており、ローカルの埋め込みモデルによるドキュメント検索機能を備えたチャットインターフェースを提供します。開発者向けには、TLSとプログラムごとのAPIキーで保護された、OpenAI互換、Anthropic Messages、Ollama互換のエンドポイントなど、標準的なAPIを公開しています。

インストールはシンプルになるよう設計されており、USBメモリ経由またはPXEを用いたネットワーク経由でのデプロイをサポートしています。インストーラーはターゲットディスクを消去し、リカバリーキーを表示し、管理者アカウントを設定します。インストール後、ユーザーはWebコンソールまたはターミナルのコマンドラインインターフェースを通じてサーバーを管理できます。これらのコンソールからは、セットアップウィザード、ステータス監視、モデルダウンロード、ルーター設定、システム更新へのアクセスが可能です。本プロジェクトには、推論スタックと並行して独自のコンテナを実行できるようにする機能である「Arcane」も含まれています。

仕組み

Sibylは、安全で不変なオペレーティングシステムと柔軟なモデルルーティングレイヤーを組み合わせることで動作します。中核には、ユーザー定義のルールに基づいてリクエストをローカルモデルまたは外部クラウドプロバイダーへ振り向けるモデルルーターがあります。このルーターは、各リクエストに適したバックエンドを選択する「auto」モデル設定をサポートしています。ユーザーは特定のプログラムに対して予算を設定し、秘密情報を含むリクエストがすべてローカルホスト内に留まるようにするルールを作成することで、サードパーティサービスへのデータ漏洩を防ぐことができます。

モデル管理はシステム内で直接処理され、Hugging Faceで互換性のあるファイルを検索します。利用可能なGPUメモリにモデルが適合するかを評価し、再開機能とチェックサム検証を備えたダウンロードを処理します。各モデルは、コンテキストサイズ、キャッシュ、サンプリング、推論、投機的デコーディングなどの具体的なパラメータで設定できます。この細かな制御により、エンジニアは提供されたインターフェースの外で設定ファイルを手動で編集することなく、異なるワークロードに対するパフォーマンスとリソース使用量を最適化できます。

主要な詳細

• ハードウェアサポート: AMD（RadeonおよびRyzen AI）、NVIDIA（GeForceおよびTuring以降のデータセンターGPU）、Intel（Arcおよび最近の統合グラフィックス）向けのバリアントが存在します。
• バックエンド技術: AMDはHIP（ROCm）とVulkanを使用し、NVIDIAはCUDAとVulkanを使用し、IntelはVulkanを使用します。AMDバリアントはRadeon RX 7900 XTXカードでテスト済みです。
• API互換性: TLSの背後でOpenAI互換（/v1）、Anthropic Messages、Ollama互換（/api）のエンドポイントを提供します。
• セキュリティ機能: 不変OS更新のためにFedora bootcを使用し、SELinux、Secure Boot、TPM2によってロック解除されるLUKS2ディスク暗号化を強制します。
• 管理インターフェース: ポート8443でのWebコンソールと、完全なシステム制御用のターミナルコンソールコマンドsibylの両方を提供します。
• ライセンス: GNU Affero General Public License v3.0の下でリリースされており、メンテナーから商用ライセンスの利用が可能です。

なぜ重要なのか

AI対応製品を開発するソフトウェアチームにとって、データのプライバシーとインフラストラクチャの制御は重要な懸念事項です。クラウドベースの推論サービスでは、機密データを外部サーバーに送信する必要が多く、これはコンプライアンス要件に違反したり、独自情報を暴露したりする可能性があります。Sibylは、ユーザー定義のルールによって明示的にルーティングされない限り、すべての推論をローカルに保ち、データが施設外に出ないことを保証することでこの問題に対処します。ホストオペレーティングシステムの不変性は攻撃面をさらに縮小し、セキュリティ監査と厳格なアクセス制御が必須となる環境に適しています。

APIの標準化は、ローカル推論を採用する際の参入障壁も下げます。開発者はコードを書き直すことなく、OpenAIやOllama向けに設計された既存のクライアントとライブラリを使用できます。この互換性により、チームはクラウドプロバイダーとローカルプロバイダーの間をシームレスに切り替えたり、機密性の高いタスクはローカルで実行し、重要度の低いタスクはクラウドリソースを使用するハイブリッドアプローチを採用したりできます。モデルの管理、使用状況の監視、ルーティングの設定を統一コンソールを通じて行う能力は、セルフホスト型AIインフラストラクチャに伴うDevOpsオーバーヘッドを削減し、運用を簡素化します。

できること

• ドキュメントに記載されているoras pullコマンドを使用して、特定のGPUベンダーバリアント用のライブISOをダウンロードしてください。
• ISOをUSBメモリに書き込み、Secure Bootを有効にした状態でターゲットマシンを起動してインストールを開始してください。
• ハードウェア互換性リストを確認してください。現時点では、AMDバリアントのみが物理ハードウェアで完全にテストされていることに注意してください。
• モデルルーターの設定を検討し、機密性の高いリクエストをローカルに保ちつつ、他のリクエストがクラウドプロバイダーを使用できるようにするルールを定義してください。
• 互換性のあるハードウェアへのアクセスがある場合は、NVIDIAまたはIntelバリアントのテストに参加し、GitHubで問題を報告することでプロジェクトに貢献してください。
• パッチを送信する前にContributor License Agreement（CLA）に署名するプロセスを理解するために、CONTRIBUTING.mdファイルをお読みください。