オープン&ローカルAI

Ggml 1.0、FP8およびマルチバックエンド最適化によりローカルAI推論を安定化

ggmlライブラリがバージョン1.0に到達し、FP8サポート、YaRN切り詰め制御、そしてCUDA、Metal、Vulkanなどのバックエンドにおける大幅なパフォーマンス向上を導入しました。これはローカル大規模言語モデルツールを支える基盤です。

マルチバックエンドAI推論を表す、さまざまなハードウェアデバイスに接続されたマイクロチップのイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

オープンソースライブラリであるggmlがバージョン1.0.0に到達しました。これは、多くのローカル大規模言語モデルツールを支える計算バックエンドにとって、重要な安定化のマイルストーンとなります。2026年11月14日にリリースされたこのアップデートでは、非推奨APIの削除、8ビット浮動小数点精度(FP8)のサポート導入、NVIDIA CUDA、Apple Metal、Vulkanなどを含むハードウェアバックエンド全般にわたる広範なパフォーマンス最適化が行われています。

何が起きたか

今回のリリースは、llama.cppなどのプロジェクトで基礎的なテンソルライブラリとして機能するggmlコードベースの成熟を示しています。メンテナーは、DIAG_MASK_INFやDIAG_MASK_ZEROといったレガシー操作を削除することで公開APIを整理しました。このクリーンアップにより開発者向けのインターフェースが簡素化され、リモートプロシージャコール(RPC)プロトコルはバージョン9に引き上げられました。新しいプロトコルバージョンでは互換性チェックが厳格になり、互換性のないソフトウェアバージョンを実行しているピアからの接続を拒否すると同時に、読み込み時間を短縮し、ハンドシェイク失敗時の処理をより適切に行います。

APIの衛生管理に加え、このアップデートは現代のモデルアーキテクチャにとって重要な機能を導入します。開発者は、再学習なしでTransformerのコンテキストウィンドウを拡張するために使用される技術であるYaRN切り詰めを、新しいゲッターおよびセッター関数を通じて設定できるようになりました。また、ライブラリはOCP FP8(Open Compute Project 8-bit floating point)に対するネイティブサポートを追加しました。これは、推論中のメモリ帯域幅要件を削減するためにハードウェアベンダーによってますます採用されている精度フォーマットです。これらの変更には、小さなバッチサイズ向けの行列乗算の最適化や、Mixture of Experts(MoE)モデル向けの融合演算など、広範なパフォーマンス作業も伴っています。

仕組み

Ggmlは、消費者向けハードウェアでの効率的な推論を目的とした軽量テンソルライブラリとして動作します。今回のリリースでは、コアスケジューラーが改良され、現在の計算グラフで読み取られない入力データのアップロードを回避します。また、実行計画内の以前の分割によって生成された入力のみにプリフェッチを行います。各トークンに対してニューラルネットワークエキスパートの一部のみをアクティブにするMoEモデルの場合、キャッシュシステムは一部のキャッシュミス計算をCPUにオフロードし、結果を非同期でコピーバックできるようになり、GPUのストールを防ぎます。

バックエンド固有の最適化がパフォーマンス向上の大部分を牽引しています。CUDAでは、インタラクティブなチャットシナリオで一般的なバッチサイズ2〜24における少数行量子化行列乗算をサポートするようになりました。また、NVFP4チェックポイントに対するゲートおよびアップ行列乗算の融合実装も行っています。AppleのMetalバックエンドでは、オーバーヘッドを削減するためにMoEルーティングが単一のコマンドバッファに融合されています。VulkanではIntel FlashAttentionプリフィルカーネルが追加され、OpenCLではAdreno GPU向けに分解されたFlashAttentionが導入されました。これらの変更により、ライブラリはテンソルコアや特殊なメモリレイアウトなどのハードウェア固有の特徴を活用しつつ、エンドユーザーによる手動チューニングを必要としなくなります。

主要な詳細

  • APIクリーンアップ: 非推奨の公開APIとレガシーなDIAG_MASK操作が削除され、インターフェースが簡素化されるとともに、RPCプロトコルがv9に引き上げられました。
  • FP8サポート: OCP FP8精度へのネイティブサポートによりメモリ帯域幅の使用量が削減され、CUDA上のNVFP4ゲート/アップ行列乗算用の特定の融合カーネルが含まれています。
  • YaRN設定: 新しい関数ggml_rope_set_truncateおよびggml_rope_get_truncateにより、開発者は拡張コンテキストウィンドウのためのYaRN補正境界丸めを制御できます。
  • スケジューラー効率: コアスケジューラーは未使用の入力のアップロードをスキップし、必要なデータのみをプリフェッチするように変更され、メモリトラフィックとレイテンシが削減されました。
  • MoE最適化: Metal上での融合MoEルーティングとSYCL上でのデバイス側MoEスケジューラーにより、スパースエキスパートモデルのスループットが向上しました。
  • 広範なバックエンドカバレッジ: パフォーマンス改善はCUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU、Hexagon、CPUバックエンドに及び、多様なハードウェアで一貫した向上を保証します。

なぜ重要なのか

ローカルAIアプリケーションを開発するエンジニアにとって、ggml 1.0.0はより安定かつ高性能な基盤を提供します。非推奨APIの削除はメンテナンス負担を軽減し、古くなったまたは非効率なコードパスを使用するリスクを最小限に抑えます。FP8サポートの導入は、ハードウェアベンダーが効率のために低精度演算を優先する傾向が強まっているため、特に重要です。これらのフォーマットをネイティブにサポートすることにより、ggmlは開発者が上位フレームワークの追いつきを待たずに、新しいGPU機能を活用できるようにします。

パフォーマンス最適化は実際の使用パターンに対応しています。インタラクティブなアプリケーションはしばしばトークンの小さなバッチを処理しますが、従来の大バッチ最適化ではメリットが得られません。新しい少数行行列乗算カーネルと融合MoE演算はこれらのシナリオを直接ターゲットにしており、チャットインターフェースやコーディングアシスタントのレイテンシを削減します。さらに、改良されたスケジューラーロジックにより、未使用データにメモリ帯域幅が浪費されないことが保証され、VRAMが限られたデバイスで大規模モデルを実行する上で不可欠です。

できること

  • プロジェクトの依存関係をggml 1.0.0に更新し、安定化したAPIとパフォーマンス向上の恩恵を受けてください。
  • ハードウェアが対応している場合はFP8量子化ワークフローをテストしてください。これにより推論中のメモリ使用量を大幅に削減できます。
  • 拡張コンテキストウィンドウを必要とするモデルを扱っている場合は、新しいAPI関数を使用してYaRN切り詰め設定を構成してください。
  • RPC統合を見直し、新しいv9プロトコルとの互換性を確認してください。特に複数のマシン間で推論を分散する場合に重要です。
  • 小さなバッチ推論タスクをベンチマークし、新しい少数行行列乗算カーネルが特定のハードウェアに与える影響を測定してください。
  • MoEモデルのパフォーマンス、特にMetalおよびSYCLバックエンドでのパフォーマンスを監視し、新しい融合ルーティングおよびスケジューリング機能を活用してください。
  • #ggml
  • #local ai
  • #inference optimization
  • #fp8
  • #cuda
  • #vulkan

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

すべての記事