Goethe đơn giản hóa suy luận LLM tự chủ trên phần cứng NVIDIA tùy chỉnh

Mesh Applied vừa phát hành Goethe, một công cụ mã nguồn mở được thiết kế để đơn giản hóa việc triển khai các mô hình ngôn ngữ lớn (LLM) trên hạ tầng riêng. Được công bố vào ngày 7 tháng 11 năm 2026, tiện ích này cho phép các nhà phát triển phục vụ mô hình của họ trên phần cứng tùy chỉnh trong khi vẫn duy trì quyền kiểm soát toàn diện đối với dữ liệu và truy cập. Dự án nhằm mục đích giảm bớt sự phức tạp khi thiết lập các điểm cuối suy luận AI cục bộ.

Chuyện gì đã xảy ra

Goethe biến đổi một máy Linux tiêu chuẩn được trang bị bộ xử lý đồ họa NVIDIA thành một máy chủ API hoạt động đầy đủ. Công cụ này tương thích với các khách hàng mong đợi giao diện OpenAI, Anthropic hoặc LiteLLM, nghĩa là các ứng dụng hiện có có thể kết nối mà không cần thay đổi mã. Bằng cách xử lý các phức tạp về hạ tầng cơ bản, nó cho phép các nhóm trỏ ứng dụng, công cụ nội bộ hoặc các máy khác đến một địa chỉ duy nhất để truy cập mô hình.

Quy trình cài đặt được tinh gọn thành ba hành động chính: cài đặt phần mềm, thêm một mô hình cụ thể và cấu hình truy cập mạng. Một lệnh duy nhất khởi động dịch vụ và hướng dẫn người dùng qua việc tải mô hình, phục vụ nó qua API và xác định ai có thể tiếp cận nó. Cách tiếp cận này loại bỏ nhu cầu cấu hình thủ công các máy chủ web, proxy ngược hoặc điều phối container phức tạp cho các thiết lập cơ bản.

Sau khi chạy, mọi mô hình được tải đều được phục vụ tại cùng một URL, với các yêu cầu được định tuyến dựa trên tên mô hình được chỉ định trong payload. Điểm cuối hợp nhất này đơn giản hóa việc tích hợp cho các nhóm phát triển sử dụng nhiều SDK khác nhau như LangChain, LlamaIndex hoặc Open WebUI. Hệ thống hỗ trợ chạy nhiều mô hình song song, cho phép các dự án hoặc người dùng khác nhau truy cập các mô hình riêng biệt thông qua cùng một cổng.

Cách thức hoạt động

Goethe đóng gói runtime CUDA 13 và trình biên dịch riêng, giúp loại bỏ nhu cầu các nhà phát triển phải cài đặt toàn bộ bộ công cụ CUDA trên máy chủ. Phụ thuộc bên ngoài duy nhất là driver NVIDIA. Đối với các card GeForce và TITAN dành cho người tiêu dùng, yêu cầu phiên bản driver 580 trở lên. Các GPU trung tâm dữ liệu như A100, H100 và B200 có thể hoạt động với các driver từ phiên bản 535 đến 579 bằng cách tận dụng các tính năng tương thích ngược của NVIDIA CUDA.

Phần mềm hỗ trợ nhiều kiến trúc GPU, bao gồm Blackwell, Hopper, Ada và Ampere. Các kiến trúc cũ hơn như Volta và Turing không được hỗ trợ. Một máy duy nhất có thể trộn lẫn các thế hệ GPU, nhưng mỗi mô hình riêng lẻ phải chạy trên các GPU thuộc cùng một thế hệ. Các mô hình lớn có thể được chia nhỏ trên nhiều GPU nếu cần, miễn là có đủ bộ nhớ video. Lệnh goethe recommend giúp người dùng xác định những mô hình nào phù hợp với tài nguyên phần cứng khả dụng của họ.

Bên dưới lớp vỏ, Goethe dựa vào nhiều công nghệ bên thứ ba đã được thiết lập, bao gồm SGLang, PyTorch, FlashInfer, Triton và Hugging Face Transformers. Nó sử dụng các kernel đính kèm tùy chỉnh để tăng tốc và tối ưu hóa hiệu suất mô hình. Engine quản lý dịch vụ nền, cổng API và trình cài đặt, đảm bảo rằng các mô hình được tải vẫn tồn tại ngay cả sau khi khởi động lại hoặc gặp sự cố hệ thống.

Chi tiết chính

• Giấy phép: Engine Goethe được cấp phép theo Apache License 2.0, mặc dù giấy phép của từng mô hình riêng lẻ vẫn áp dụng.
• Khả năng tương thích: Hoạt động trên các hệ thống Linux x86_64 hoặc ARM64 với glibc 2.30 trở lên, chẳng hạn như Ubuntu 20.04+ hoặc Debian 11+.
• Bảo mật mạng: Truy cập là riêng tư theo mặc định; người dùng phải cấu hình rõ ràng mức độ hiển thị cho chỉ cục bộ, VPN hoặc truy cập công khai.
• Quản lý khóa: Hỗ trợ tạo, hết hạn, phạm vi hóa và thu hồi các khóa API cho các ứng dụng hoặc người dùng khác nhau.
• Hỗ trợ đám mây: Nhận diện các nhà cung cấp đám mây như AWS, Google Cloud và Azure, cũng như các nền tảng container như RunPod và Vast.ai.
• Hỗ trợ mô hình: Bao gồm hỗ trợ cho các định dạng lượng tử hóa NVFP4 và ternary, với các mô hình được tối ưu hóa cụ thể do Mesh Applied công bố.

Tại sao điều này quan trọng

Đối với các nhóm kỹ thuật lo ngại về quyền riêng tư dữ liệu, việc tự chủ hosting (self-hosting) mang lại lợi thế quan trọng so với các API công khai. Goethe giải quyết sự ma sát truyền thống của triển khai cục bộ bằng cách đóng gói môi trường runtime và đơn giản hóa việc lộ diện mạng. Điều này cho phép các tổ chức giữ các prompt, dữ liệu độc quyền và mô hình fine-tuned trên phần cứng mà họ kiểm soát vật lý, giảm sự phụ thuộc vào các nhà cung cấp bên ngoài cho các khối lượng công việc nhạy cảm.

Công cụ này cũng hạ thấp rào cản gia nhập khi sử dụng phần cứng chuyên dụng. Bằng cách hỗ trợ các thế hệ GPU hỗn hợp và cung cấp hướng dẫn rõ ràng về yêu cầu bộ nhớ, nó cho phép các nhà phát triển tận dụng hiệu quả hơn các tài nguyên workstation hoặc server hiện có. Khả năng phục vụ nhiều mô hình từ một điểm cuối duy nhất giảm chi phí vận hành, giúp dễ dàng quản lý các tác vụ AI đa dạng trong một hạ tầng hợp nhất.

Hơn nữa, khả năng tương thích với các SDK tiêu chuẩn có nghĩa là chuyển đổi từ một nhà cung cấp đám mây sang một instance cục bộ đòi hỏi rất ít refactor mã. Các nhà phát triển có thể tiếp tục sử dụng các công cụ quen thuộc như OpenAI Python client, chỉ cần thay đổi base URL và API key. Tính liên vận hành này đảm bảo rằng quá trình chuyển đổi sang suy luận tự chủ không làm gián đoạn các quy trình phát triển hiện có hoặc kiến trúc ứng dụng.

Bạn có thể làm gì

• Cài đặt Goethe trên một máy Linux có GPU NVIDIA được hỗ trợ bằng cách sử dụng script bash được cung cấp.
• Sử dụng lệnh goethe recommend để xác định những mô hình nào phù hợp với ràng buộc bộ nhớ GPU cụ thể của bạn.
• Cấu hình truy cập API để giới hạn kết nối đến mạng cục bộ hoặc VPN của bạn nhằm tăng cường bảo mật.
• Tạo các khóa API độc đáo cho các ứng dụng hoặc thành viên nhóm khác nhau để quản lý truy cập và sử dụng.
• Kiểm tra kết nối bằng cách sử dụng các SDK OpenAI hoặc Anthropic tiêu chuẩn bằng cách trỏ base URL đến instance Goethe cục bộ của bạn.
• Xem xét hướng dẫn sử dụng và tài liệu tham khảo lệnh để khắc phục sự cố và các tùy chọn cấu hình nâng cao.