Goethe、カスタムNVIDIAハードウェアでのセルフホスト型LLM推論を簡素化

Mesh Appliedは、プライベートインフラストラクチャ上での大規模言語モデル（LLM）のデプロイを簡素化するために設計されたオープンソースツール「Goethe」をリリースしました。2026年11月7日に公開されたこのユーティリティにより、開発者はデータとアクセスに対する完全な制御を維持しながら、カスタムハードウェア上で独自のモデルを提供できるようになります。本プロジェクトは、ローカルAI推論エンドポイントのセットアップに伴う複雑さを軽減することを目的としています。

何が起きたか

Goetheは、NVIDIAグラフィック処理ユニットを搭載した標準的なLinuxマシンを、完全に機能するAPIサーバーへと変換します。このツールは、OpenAI、Anthropic、またはLiteLLMインターフェースを想定するクライアントと互換性があるため、既存のアプリケーションはコードの変更なしに接続できます。基盤となるインフラストラクチャの複雑さを処理することで、チームはアプリ、内部ツール、その他のマシンから単一のアドレスへモデルアクセスを向けることが可能になります。

インストールプロセスは、ソフトウェアのインストール、特定のモデルの追加、ネットワークアクセスの設定という3つの主要なアクションに簡略化されています。単一のコマンドでサービスを開始し、ユーザーがモデルを読み込み、API経由で提供し、誰がアクセスできるかを定義する手順をガイドします。このアプローチにより、基本的なセットアップにおいてWebサーバー、リバースプロキシ、複雑なコンテナオーケストレーションを手動で設定する必要がなくなります。

実行中、読み込まれたすべてのモデルは同じURLで提供され、ペイロードで指定されたモデル名に基づいてリクエストがルーティングされます。この統一エンドポイントにより、LangChain、LlamaIndex、Open WebUIなどのさまざまなSDKを使用する開発チームの統合が簡素化されます。システムは複数のモデルを並行して実行することをサポートしており、異なるプロジェクトやユーザーが同じゲートウェイを通じて個別のモデルにアクセスすることが可能です。

仕組み

Goetheは独自のCUDA 13ランタイムとコンパイラを同梱しているため、開発者がホストマシンに完全なCUDAツールキットをインストールする必要がありません。唯一の外部依存関係はNVIDIAドライバーです。コンシューマー向けのGeForceおよびTITANカードでは、バージョン580以降のドライバーが必要です。A100、H100、B200などのデータセンターGPUは、NVIDIAのCUDA前方互換性機能を活用することで、バージョン535から579のドライバーで動作させることができます。

このソフトウェアは、Blackwell、Hopper、Ada、Ampereなど、幅広いGPUアーキテクチャをサポートしています。VoltaやTuringなどの古いアーキテクチャはサポートされていません。1台のマシンでGPU世代を混在させることは可能ですが、個々のモデルは単一の世代のGPU上で実行する必要があります。ビデオメモリが十分にあれば、必要に応じて大きなモデルを複数のGPUに分割できます。goethe recommendコマンドは、利用可能なハードウェアリソースにどのモデルが適合するかを特定するのに役立ちます。

内部的には、GoetheはSGLang、PyTorch、FlashInfer、Triton、Hugging Face Transformersなどの確立されたサードパーティ技術に依存しています。カスタムカーネルアタッチメントを使用して、モデルのパフォーマンスを加速・最適化します。エンジンがバックグラウンドサービス、APIゲートウェイ、インストーラーを管理し、再起動やシステムクラッシュ後も読み込まれたモデルが永続的に保持されることを保証します。

主要な詳細

• ライセンス: GoetheエンジンはApache License 2.0の下でライセンスされていますが、個々のモデルのライセンスも適用されます。
• 互換性: Ubuntu 20.04+やDebian 11+など、glibc 2.30以降を搭載したLinux x86_64またはARM64システムで動作します。
• ネットワークセキュリティ: アクセスはデフォルトでプライベートです。ユーザーは、ローカルのみ、VPN、またはパブリックアクセスへの可視性を明示的に設定する必要があります。
• キー管理: 異なるアプリやユーザー向けにAPIキーの作成、有効期限設定、スコープ設定、取り消しに対応しています。
• クラウドサポート: AWS、Google Cloud、Azureなどのクラウドプロバイダーに加え、RunPodやVast.aiなどのコンテナプラットフォームを認識します。
• モデルサポート: NVFP4および三値量子化フォーマットをサポートしており、Mesh Appliedによって公開された特定の最適化済みモデルが含まれています。

なぜ重要か

データプライバシーを懸念するエンジニアリングチームにとって、セルフホスティングは公開API compared to a critical advantage over public APIs offers a critical advantage. Goethe addresses the traditional friction of local deployment by packaging the runtime environment and simplifying network exposure. This allows organizations to keep prompts, proprietary data, and fine-tuned models on hardware they physically control, reducing reliance on external vendors for sensitive workloads.

The tool also lowers the barrier to entry for using specialized hardware. By supporting mixed GPU generations and providing clear guidance on memory requirements, it enables developers to utilize existing workstation or server resources more effectively. The ability to serve multiple models from a single endpoint reduces operational overhead, making it easier to manage diverse AI tasks within a unified infrastructure.

Furthermore, the compatibility with standard SDKs means that switching from a cloud provider to a local instance requires minimal code refactoring. Developers can continue using familiar tools like the OpenAI Python client, simply changing the base URL and API key. This interoperability ensures that the transition to self-hosted inference does not disrupt existing development workflows or application architectures.

実施できること

• 提供されているbashスクリプトを使用して、サポート対象のNVIDIA GPUを搭載したLinuxマシンにGoetheをインストールします。
• goethe recommendコマンドを使用して、特定のGPUメモリ制約に適合するモデルを特定します。
• セキュリティ強化のため、APIアクセスをローカルネットワークまたはVPNに制限するように設定します。
• アクセスと使用状況を管理するために、異なるアプリケーションやチームメンバー用に一意のAPIキーを作成します。
• ベースURLをローカルのGoetheインスタンスに向けることで、標準的なOpenAIまたはAnthropic SDKを使用して接続性をテストします。
• トラブルシューティングおよび高度な設定オプションについては、ユーザーガイドとコマンドリファレンスドキュメントを確認してください。