llama.cpp experiments with runtime MoE expert expansion without retraining
A community branch of llama.cpp now allows sparse Mixture of Experts models to activate more experts at inference time, trading speed for potential quality gains.
“llama.cpp” の検索結果
AI、開発者向けツール、インフラのデイリーカバー。各記事では、何が起こり、なぜ重要なのかを解説し、元の出典へのリンクを提供します。
Magnitude: ハードウェアに合わせて自動チューニングするオープンソース推論エンジン
Magnitude はデバイス上でカーネルをコンパイルし調整することで、Apple Silicon、NVIDIA、AMD、CPU環境において llama.cpp より最大2倍高速にオープンモデルを実行します。
