オープン&ローカルAI

llama.cpp v1.0、並列および推測デコーディングで大幅な高速化を実現

llama.cpp v1.0 リリースでは、破壊的なAPI変更が導入され、NVIDIA RTX 30シリーズGPUにおけるマルチリクエストおよび推測デコーディングワークロードの性能が大幅に向上しました。

GPUが複数のデータトークンに接続される様子を表したイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

2026年11月13日、llama.cppプロジェクトはバージョン1.0に到達し、C/C++推論エンジンにおいて厳格なセマンティックバージョニングへの移行を示しました。11月14日にNVIDIA RTX 3090を使用して実施されたベンチマークによると、単一ユーザーのパフォーマンスは安定しているものの、並列処理と推測デコーディングでは最大55パーセントの大幅な速度向上が見られました。

何が起きたか

llama.cpp v1.0.0(ビルド12359)のリリースにより、公開C APIおよびコマンドラインインターフェースに複数の破壊的変更が導入されました。ユーザーにとって最も直接的な運用変更は、--defrag-tholdフラグの削除であり、更新前に起動スクリプトからこのフラグを除去する必要があります。さらに、セキュリティデフォルトが強化されました。llama-serverは、--api-key経由でAPIキーが提供されない限り、ループバック以外のネットワークアドレス上で組み込みツールまたはModel Context Protocol(MCP)サーバーの有効化を拒否するようになりました。また、プライベートまたはローカルメディアURLを参照するリクエストも、明示的に許可されない限りデフォルトでブロックされます。

パフォーマンステストでは、この新しいビルドを5日前のv1以前のバージョン(ビルド12199)と比較しました。テストはFedora 44上のDocker 29.9.2環境で実行され、AMD Ryzen 9 5900X CPUと24 GB VRAMを搭載したNVIDIA RTX 3090 GPUを使用しました。テスト対象モデルには、Q4_K_M量子化されたQwen3.5 9Bおよび27Bが含まれています。結果は、高度な機能を使用しない単一ユーザーチャットセッションの場合、パフォーマンスは以前のビルドとほぼ同一であることを示しています。しかし、複数の同時リクエストや推測デコーディングを含むシナリオでは、顕著な改善が見られます。

仕組み

v1.0における主なパフォーマンス向上は、NVIDIA RTX 30シリーズ(Ampere)以降のGPU向けに設計された新しいCUDAカーネルによるものです。このカーネルは、モデルが同時に2〜24トークンを処理する場合の操作を最適化します。標準的な単一リクエストモードでは、モデルはステップごとに1トークンを処理し、変更されていない古いカーネルを利用します。しかし、並列リクエストや推測デコーディングを処理する場合、ワークロードは複数トークンステップに移行します。

推測デコーディングでは、より小さなドラフトモデルを使用して後続のトークンを予測し、大きなメインモデルがそれを1つのステップで検証します。この検証プロセスでは複数のトークンを一度にチェックするため、新しいカーネルの「重みを一度読み取り、ステップ内のすべてのトークンに対して乗算する」という能力を直接活用します。同様に、並列リクエストでは連続バッチングを使用して異なるユーザーからのトークンをまとめて処理します。これらのワークフローは新しいカーネルの設計と一致するため、スループットの大幅な増加が見られる一方で、単一トークンの逐次処理では効果がありません。

主要な詳細

  • 並列スループット: 4つの同時リクエストを処理した場合、v1以前のビルドと比較して9Bモデルで14%、27Bモデルで22%の速度向上が見られました。
  • 推測デコーディング: Multi-Token Prediction(MTP)を27Bモデルで使用すると、トークン毎秒数が52%〜55%増加し、約45 tok/sから68.5 tok/sへと上昇しました。
  • 単一ユーザーのパフォーマンス: 推測デコーディングを行わない単一リクエストの場合、速度差は無視できるほど小さく、両方向で誤差範囲1.5%以内に収まりました。
  • 破壊的変更: --defrag-tholdフラグが削除されました。ネットワーク接続されたサーバーでツールを使用するにはAPIキーが必要となり、プライベートURLへのアクセスには--media-allow-private-urlsフラグが必要です。
  • 新機能: このリリースには、コンテキストキャッシュ用のFP8オプション、混合専門家(mixture-of-experts)モデル用のシステムRAMキャッシュ、および/v1/audio/speechにあるテキスト読み上げエンドポイントが含まれています。
  • バージョニングポリシー: 今後のメジャーバージョンアップは、APIまたはABIの破壊的変更がある場合のみに行われ、llama.cppの上に構築する開発者により安定した期待値を提供します。

なぜ重要なのか

ローカルLLMインフラストラクチャを管理する開発者や技術リードにとって、このリリースはツールチェーンの成熟を示すものです。セマンティックバージョニングへの移行により、破壊的変更がメジャーバージョン番号で明確に示されるため、llama.cppを本番アプリケーションに統合するリスクが低減します。しかし、即時の影響は運用面にあります。チームは、非推奨フラグを削除し、ネットワークに公開されているインスタンス用にAPIキーを設定するために、デプロイメントスクリプトを更新する必要があります。これを行わないと、起動エラーや機能無効化が発生します。

パフォーマンスへの影響はワークロードの種類に依存します。単一ユーザー向けの個人用チャットボットを実行している場合、このアップグレードによる緊急のパフォーマンス上の利点はありません。しかし、複数の同時ユーザー、エージェント、またはサーバーに同時にアクセスするコーディングアシスタントをサポートするサービスにとっては、14〜22%のスループット向上は重要です。さらに影響が大きいのは推測デコーディングのブーストであり、これによりQwen3.5 27Bのようなより大きく高性能なモデルをコンシューマーハードウェア上でより応答性高く実行できるようになります。これは、レイテンシが重要なインタラクティブなアプリケーションにおいて、高品質なローカル推論の実現可能性を高めます。

対応策

  • 起動スクリプトの更新: v1.0へアップグレードする前に、llama-serverコマンドから--defrag-tholdまたは-dtフラグを削除してください。
  • ネットワーク接続インスタンスの保護: サーバーがlocalhost以外のアドレスでリッスンしている場合、ツールとMCPサーバーがデフォルトで無効化されるのを防ぐために--api-keyを追加してください。
  • プライベートメディアアクセスの有効化: ワークフローがローカルネットワークアドレス上にホストされた画像やメディアを含む場合、互換性を維持するために--media-allow-private-urlsフラグを追加してください。
  • 並列負荷のテスト: 複数のクライアントにサービスを提供している場合、新しいビルドで特定のハードウェアをベンチマークし、モデルサイズに応じた14〜22%のスループット向上を定量化してください。
  • 推測デコーディングの実験: RTX 30シリーズ以降のGPUで50%以上の高速化を活用するために、より大きなモデルでMTPまたは推測デコーディングの有効化を試してください。
  • 依存関係の互換性確認: llama.cppのC APIの上にソフトウェアを構築している場合、v1.0ヘッダーを採用する前にリリースノートを確認して破壊的変更を検討してください。
  • #llama.cpp
  • #local llm
  • #nvidia gpu
  • #speculative decoding
  • #performance

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

オープン&ローカルAI

Ggml 1.0、FP8およびマルチバックエンド最適化によりローカルAI推論を安定化

ggmlライブラリがバージョン1.0に到達し、FP8サポート、YaRN切り詰め制御、そしてCUDA、Metal、Vulkanなどのバックエンドにおける大幅なパフォーマンス向上を導入しました。これはローカル大規模言語モデルツールを支える基盤です。

すべての記事