Sibyl cung cấp máy chủ suy luận AI tự lưu trữ, được bảo mật cao cho GPU cục bộ

Một dự án mã nguồn mở mới có tên là Sibyl nhằm đơn giản hóa việc triển khai các máy chủ suy luận mô hình ngôn ngữ lớn (LLM) cục bộ, riêng tư. Được phát hành ở trạng thái pre-alpha trên GitHub bởi diffsec, công cụ này biến một máy tính được trang bị một hoặc nhiều bộ xử lý đồ họa thành một máy chủ AI an toàn, độc lập. Nó hỗ trợ phần cứng từ AMD, NVIDIA và Intel, cung cấp một giao diện thống nhất để quản lý mô hình và phục vụ yêu cầu mà không cần phụ thuộc vào các nhà cung cấp đám mây bên ngoài.

Chuyện gì đã xảy ra

Sibyl được thiết kế như một máy chủ suy luận tất cả trong một, xử lý mọi thứ từ bảo mật hệ điều hành đến quản lý mô hình. Dự án cung cấp một máy chủ được gia cố dựa trên Fedora bootc, đảm bảo hệ điều hành là một hình ảnh bất biến, đã ký số. Cách tiếp cận này cho phép cập nhật nguyên tử và hoàn tác, giảm nguy cơ lệch cấu hình hoặc hỏng hóc. Hệ thống thực thi các chính sách SELinux, bật Secure Boot và mã hóa ổ đĩa bằng LUKS2, với các khóa giải mã được quản lý bởi chip TPM2.

Ngăn xếp phần mềm bao gồm llama.cpp để phục vụ các mô hình GGUF, sử dụng llama-swap để tải và chuyển đổi mô hình theo yêu cầu. Kiến trúc này cho phép một mô hình trải dài trên nhiều GPU hoặc cho phép mỗi GPU chạy một mô hình khác nhau đồng thời. Sibyl cũng tích hợp Open WebUI, cung cấp một giao diện trò chuyện với khả năng tìm kiếm tài liệu được hỗ trợ bởi một mô hình nhúng cục bộ. Đối với các nhà phát triển, nó cung cấp các API tiêu chuẩn, bao gồm các endpoint tương thích OpenAI, Anthropic Messages và Ollama, tất cả đều được bảo vệ phía sau TLS và các khóa API dành riêng cho từng chương trình.

Việc cài đặt được thiết kế để dễ dàng, hỗ trợ triển khai qua USB stick hoặc qua mạng sử dụng PXE. Trình cài đặt sẽ xóa ổ đĩa đích, in ra một khóa phục hồi và thiết lập tài khoản quản trị viên. Sau khi cài đặt, người dùng có thể quản lý máy chủ thông qua bảng điều khiển web hoặc giao diện dòng lệnh terminal. Các bảng điều khiển này cung cấp quyền truy cập vào các trình hướng dẫn thiết lập, giám sát trạng thái, tải xuống mô hình, cấu hình router và cập nhật hệ thống. Dự án cũng bao gồm Arcane, một tính năng cho phép người dùng chạy các container riêng của họ cùng với ngăn xếp suy luận.

Cách hoạt động

Sibyl hoạt động bằng cách kết hợp một hệ điều hành an toàn, bất biến với một lớp định tuyến mô hình linh hoạt. Ở trung tâm là một bộ định tuyến mô hình có thể chỉ đạo các yêu cầu đến các mô hình cục bộ hoặc các nhà cung cấp đám mây bên ngoài dựa trên các quy tắc do người dùng xác định. Bộ định tuyến này hỗ trợ thiết lập mô hình "auto", chọn backend phù hợp cho từng yêu cầu. Người dùng có thể đặt ngân sách cho các chương trình cụ thể và tạo các quy tắc đảm bảo rằng bất kỳ yêu cầu nào chứa bí mật đều vẫn nằm trên máy chủ cục bộ, ngăn chặn rò rỉ dữ liệu sang các dịch vụ của bên thứ ba.

Quản lý mô hình được xử lý trực tiếp trong hệ thống, tìm kiếm Hugging Face cho các tệp tương thích. Nó đánh giá xem các mô hình có vừa với bộ nhớ GPU khả dụng hay không và xử lý các lần tải xuống với khả năng tiếp tục và xác minh checksum. Mỗi mô hình có thể được cấu hình với các tham số cụ thể cho kích thước ngữ cảnh, bộ nhớ đệm, lấy mẫu, suy luận và giải mã suy đoán. Sự kiểm soát chi tiết này cho phép các kỹ sư tối ưu hóa hiệu suất và mức độ sử dụng tài nguyên cho các khối lượng công việc khác nhau mà không cần chỉnh sửa thủ công các tệp cấu hình bên ngoài các giao diện được cung cấp.

Chi tiết chính

• Hỗ trợ phần cứng: Có các phiên bản dành cho AMD (Radeon và Ryzen AI), NVIDIA (GeForce và GPU trung tâm dữ liệu từ Turing trở lên) và Intel (Arc và đồ họa tích hợp gần đây).
• Công nghệ backend: AMD sử dụng HIP (ROCm) và Vulkan; NVIDIA sử dụng CUDA và Vulkan; Intel sử dụng Vulkan. Phiên bản AMD đã được thử nghiệm trên các card Radeon RX 7900 XTX.
• Tương thích API: Phục vụ các endpoint tương thích OpenAI (/v1), Anthropic Messages và Ollama (/api) phía sau TLS.
• Tính năng bảo mật: Sử dụng Fedora bootc cho các bản cập nhật OS bất biến, thực thi SELinux, Secure Boot và mã hóa ổ đĩa LUKS2 được mở khóa bởi TPM2.
• Giao diện quản lý: Cung cấp cả bảng điều khiển web tại cổng 8443 và lệnh console terminal sibyl để kiểm soát toàn bộ hệ thống.
• Giấy phép: Phát hành theo Giấy phép Công cộng GNU Affero v3.0, với giấy phép thương mại có sẵn từ người duy trì.

Tại sao quan trọng

Đối với các nhóm phần mềm xây dựng sản phẩm tích hợp AI, quyền riêng tư dữ liệu và kiểm soát hạ tầng là những mối lo ngại then chốt. Các dịch vụ suy luận dựa trên đám mây thường yêu cầu gửi dữ liệu nhạy cảm đến các máy chủ bên ngoài, điều này có thể vi phạm các yêu cầu tuân thủ hoặc lộ thông tin độc quyền. Sibyl giải quyết vấn đề này bằng cách giữ tất cả quá trình suy luận ở cục bộ, đảm bảo rằng dữ liệu không bao giờ rời khỏi cơ sở trừ khi được định tuyến rõ ràng bởi các quy tắc do người dùng xác định. Bản chất bất biến của hệ điều hành máy chủ cũng giảm thêm bề mặt tấn công, làm cho nó phù hợp với các môi trường nơi kiểm toán bảo mật và kiểm soát truy cập nghiêm ngặt là bắt buộc.

Việc tiêu chuẩn hóa các API cũng hạ thấp rào cản gia nhập cho việc áp dụng suy luận cục bộ. Các nhà phát triển có thể sử dụng các client và thư viện hiện có được thiết kế cho OpenAI hoặc Ollama mà không cần viết lại mã. Tính tương thích này có nghĩa là các nhóm có thể chuyển đổi liền mạch giữa các nhà cung cấp đám mây và cục bộ, hoặc sử dụng phương pháp lai nơi các tác vụ nhạy cảm chạy cục bộ và các tác vụ ít quan trọng hơn sử dụng tài nguyên đám mây. Khả năng quản lý mô hình, giám sát sử dụng và cấu hình định tuyến thông qua một bảng điều khiển thống nhất giúp đơn giản hóa vận hành, giảm bớt gánh nặng DevOps thường liên quan đến hạ tầng AI tự lưu trữ.

Bạn có thể làm gì

• Tải xuống ISO live cho phiên bản nhà cung cấp GPU cụ thể của bạn bằng lệnh oras pull được cung cấp trong tài liệu.
• Ghi ISO vào một USB stick và khởi động máy đích với Secure Boot được bật để bắt đầu cài đặt.
• Xem xét danh sách tương thích phần cứng, lưu ý rằng chỉ có phiên bản AMD đã được thử nghiệm đầy đủ trên phần cứng vật lý cho đến nay.
• Khám phá các thiết lập bộ định tuyến mô hình để xác định các quy tắc giữ các yêu cầu nhạy cảm ở cục bộ trong khi cho phép các yêu cầu khác sử dụng các nhà cung cấp đám mây.
• Đóng góp cho dự án bằng cách thử nghiệm các phiên bản NVIDIA hoặc Intel nếu bạn có quyền truy cập vào phần cứng tương thích, và báo cáo sự cố trên GitHub.
• Đọc tệp CONTRIBUTING.md để hiểu quy trình ký Thỏa thuận Cấp phép Đóng góp trước khi gửi các bản vá.