llama.cppがv1.0.0をリリース、APIの整理と新モデル対応を実施
llama.cppプロジェクトはバージョン1.0.0を公開し、非推奨APIの削除、Kimi-K3.1およびRippleモデルへの対応追加、サーバーセキュリティの強化を行いました。
英語の原文から自動翻訳されました。
llama.cppのメンテナーはバージョン1.0.0のリリースを発表しました。これは、人気のあるローカル大規模言語モデル推論エンジンにとって重要なマイルストーンです。2026年11月13日に公開されたこのメジャーアップデートでは、パブリックアプリケーションプログラミングインターフェース(API)に大幅な破壊的変更を導入すると同時に、Kimi-K3.1-ProやRippleといった新しいモデルアーキテクチャへの対応を拡大しています。また、組み込みサーバーのセキュリティ強化と、基盤となるggmlライブラリ内のパフォーマンス最適化にも重点が置かれています。
何が起きたか
今回のリリースは、技術的負債の解消とコアインターフェースの安定化を特徴とする、プロジェクトの成熟段階を示しています。開発者はパブリックヘッダーファイルllama.hからllama_set_warmupや various threshold parameters(各種閾値パラメータ)を含む35個の非推奨関数を削除しました。このクリーンアップにより、ライブラリを自社アプリケーションに統合する開発者にとってコードベースが簡素化されることを目指しています。これらの削除に伴い、NextN投機的デコーディングAPIは実験的なllama-ext.hヘッダーからメインのllama.hインターフェースへ昇格され、本番環境での使用準備が整ったことが示されました。
マルチモーダル機能と新しいモデルアーキテクチャにも大きな注目が集まりました。今回のアップデートでは、Kimi-K3.1-Pro(フルアテンションレイヤーをDSAに置き換える)、Ripple-65B-Preview(650億パラメータの密なモデル)、xing4_0(ハイブリッドアテンションとMixture-of-Experts手法の組み合わせを採用)という3つの新しいテキストベースアーキテクチャへのネイティブ対応が追加されました。さらに、drama-3のテキスト読み上げ機能や、MageVL-CoworkおよびKimi-K3.1モデル向けのビジョン処理もサポートされるようになりました。これらの追加により、外部クラウドサービスに依存せずにローカルで実行できるタスクの範囲が広がります。
セキュリティとサーバーの安定性も主要な焦点でした。llama-serverコンポーネントには、サーバーサイドリクエストフォージェリ(SSRF)、クロスオリジンリソース共有(CORS)の問題、DNSリバインディング脆弱性に対処するためのパッチが適用されました。チームは、認証されていないツールやプライベートメディアURLを許可するためのオプトインフラグを導入し、管理者がアクセス制御をより細かく行えるようにしました。加えて、チャットグループ、マークダウンエディタ、モバイルレスポンシブ性の向上などの機能を備えたWebユーザーインターフェースのリデザインが含まれており、デフォルトのフロントエンドが日常のインタラクションでより使いやすくなっています。
仕組み
内部では、基盤となるggmlライブラリがバージョン1.0.0に更新され、レガシー演算の削減と設定可能なFP8サポートの導入が行われました。FP8(8ビット浮動小数点)により、特にキー・バリューキャッシュにおいて推論時のメモリ使用効率が向上します。システムは現在、オプションの静的テンソルスケール付きOCP FP8 KVキャッシュをサポートしており、メモリ帯域幅要件を削減しながら長いコンテキストの高速処理を可能にします。これに加え、ホストメモリのMixture-of-Expertsキャッシュが導入され、ユーザーはエキスパートデータのどの程度をCPUメモリに保持するかを設定できるようになり、キャッシュされたエキスパートへのアクセス待ち時間が短縮されます。
マルチモーダルインフラストラクチャは統一されたmtmdモジュールに統合され、古いclip.h依存関係が削除されました。この変更により、ビジョンやオーディオプロセッサなど異なるサブコンテキストが計算バッファを共有できるようになり、大幅なメモリリソース節約が可能になります。音声生成については、システムは各リクエストごとに別スレッドを起動するのではなく、計算グラフ内で直接ログメルスペクトログラムを計算するようになりました。このアーキテクチャの変更によりオーバーヘッドが減少し、リアルタイム音声タスクの遅延が改善されます。サーバーにはOpenAI互換の音声生成エンドポイントも追加され、アプリケーションがローカルのテキスト読み上げモデルとやり取りする方法が標準化されました。
主な詳細
llama.h内のパブリックAPIから35個の非推奨関数が削除され、NextN投機的デコーディングAPIが昇格されました。- 新しいモデル対応には、Kimi-K3.1-Pro、Ripple-65B-Preview、xing4_0、drama-3テキスト読み上げが含まれます。
- サーバーセキュリティは、SSRF、CORS悪用、DNSリバインディング攻撃に対して強化され、新しいオプトインフラグが導入されました。
- FP8キー・バリューキャッシュがサポートされ、長いコンテキスト推論におけるメモリ効率を提供します。
- Web UIは、チャットグループ、ライブプレビュー付きマークダウンエディタ、改善されたモバイルレイアウトでリデザインされました。
- 基盤となるggmlライブラリはv1.0.0に到達し、FP8サポートを追加するとともに、CUDA、Metal、Vulkan向けバックエンドパフォーマンスを最適化しました。
なぜ重要なのか
ローカル大規模言語モデルの上に製品を構築しているソフトウェアエンジニアにとって、今回のリリースはより高い安定性と予測可能性への転換を示唆しています。非推奨APIの削除により、旧バージョン向けに構築された統合には更新が必要になりますが、結果としてコードベースはクリーンになり、メンテナンスが容易になります。NextN APIの昇格は、投機的デコーディングが現在標準機能と見なされていることを示唆しており、開発者はインターフェースの長期的な存続性を信頼して、より高速な推論戦略を実装できます。
llama-serverにおけるセキュリティ改善は、ネットワーク環境でこれらのモデルを展開するチームにとって極めて重要です。以前の脆弱性は、悪意あるアクターがサーバーを不正アクセスやデータ流出のために悪用することを許していた可能性があります。これらの問題に対処し、ツール認証やメディアアクセスに対する細かな制御を提供することで、ローカルモデルを内部ネットワークや信頼できるユーザーに公開することがより安全になります。これは、セキュリティ体制を損なうことなくAIのローカル採用を検討している企業にとって特に重要です。
FP8キャッシュやマルチモーダルタスク向けの共有計算バッファなどのパフォーマンス最適化により、消費者向けハードウェア上でより複雑なワークフローの実行が可能になります。開発者は、低いメモリオーバーヘッドでテキスト生成と同時にビジョンやオーディオモデルを実行できるようになり、限られたリソースを持つデバイス上でリッチなマルチモーダルアプリケーションを構築することが現実的になります。これにより高度なAI機能へのアクセスが民主化され、小規模なチームでも高価なクラウドインフラなしで洗練されたシステムの試作と展開が可能になります。
できること
- 統合コードを確認し、
llama.hから削除された35個の非推奨関数への呼び出しを置き換えてください。 - ネットワークに公開する場合、
llama-server用の新しいセキュリティフラグを含めるようデプロイスクリプトを更新してください。 - 新しいFP8 KVキャッシュ設定をテストし、特定のモデルにおけるメモリ節約とパフォーマンス向上を評価してください。
- アプリケーションがローカルテキスト読み上げ機能を必要とする場合、新しい
/v1/audio/speechエンドポイントを探索してください。 - ggmlバックエンド依存関係をv1.0.0にアップグレードし、GPUプラットフォーム全体での最新のパフォーマンス最適化の恩恵を受けてください。
- チャットグループなど新しいWeb UI機能を試し、社内ツールのユーザー体験を改善してください。



