“performance optimization” の検索結果

Magnitude: ハードウェアに合わせて自動チューニングするオープンソース推論エンジン

Magnitude はデバイス上でカーネルをコンパイルし調整することで、Apple Silicon、NVIDIA、AMD、CPU環境において llama.cpp より最大2倍高速にオープンモデルを実行します。