オープン&ローカルAI

llama.cppがv1.0に到達、ローカルAI開発向けの安定APIを提供

llama.cppプロジェクトがバージョン1.0.0をリリースし、プライベートなオンデバイスAIアプリケーションを開発するエンジニア向けに、安定した公開APIと配布チャネルの拡大を発表しました。

バージョン1.0の安定性を表す金属製のキューブと、その周囲を取り囲むハードウェアコンポーネント。
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Hugging Faceは、llama.cpp バージョン1.0.0のリリースを発表しました。これは、多様なハードウェア上で大規模言語モデル(LLM)の推論を可能にするオープンソースライブラリにとって、成熟度の重要なマイルストーンとなります。今回のアップデートでは、コア推論エンジンとその基盤となるテンソルライブラリの両方に対して安定したアプリケーションプログラミングインターフェース(API)が導入され、下流の開発者にとって長期的な信頼性への転換を示しています。また、公式の配布チャネルも拡大し、Linux、macOS、Windows、およびモバイルプラットフォームにおける主要なパッケージマネージャーが含まれるようになりました。

何が起きたか

3年半にわたる急速な開発を経て、llama.cppのメンテナーは現在のコードベースをバージョン1.0.0として指定しました。この変更は、CおよびC++で大規模言語モデルの推論を処理するlibllamaと、機械学習演算を支えるテンソルライブラリであるlibggmlという2つの主要ライブラリに適用されます。チームは、このバージョンアップが、現在彼らの作業に依存しているアプリケーションや製品の増加に対する責任を反映していると述べています。安定版へ移行することで、クロスプラットフォームかつプライバシー重視のAIソリューション構築のための、柔軟でありながら予測可能な基盤を提供することを目指しています。

このリリースに伴い、プロジェクトは厳格なセマンティックバージョニングルールを適用します。includeディレクトリにある公開C APIとの互換性を損なう将来の変更は、すべてメジャーバージョンの更新を引き起こします。マイナーアップデートは後方互換性のある機能、バックエンドの改善、新しいモデルサポートをカバーし、パッチリリースはAPIを変更せずにバグ修正に対応します。メンテナーは、採用が進むにつれ、これらの境界を明確に可視化することに厳格になり、下流の利用者が安心してアップグレードできるようにすると強調しています。

発表では、これらのライブラリへのアクセスおよび統合方法における大幅な拡張も注目されています。以前は、ユーザーがソースからコンパイルするか、コミュニティビルドのバイナリに頼ることが多くありました。しかし現在では、Docker、Debian、Homebrew、conda-forge、MacPorts、Wingetなどの確立された配布チャネルを通じてggml-orgソフトウェアを利用できます。モバイル開発者はiOSおよびmacOS統合のためにXCFrameworksを使用することも可能です。この動きは、ローカルAI機能を本番用ソフトウェアスタックに統合するための参入障壁を下げることを目的としています。

仕組み

llama.cppは、ggmlテンソルライブラリを中心に据えたモジュール型アーキテクチャにより、広範なハードウェア互換性を実現しています。システムは量子化(クワンタイゼーション)を使用して大規模モデルのメモリフットプリントを削減し、ハイエンドなエンタープライズサーバーを必要とせず、ノートパソコンやスマートフォンなどのコンシューマーグレードデバイスで動作できるようにします。中核的な革新はバックエンドシステムにあります。ここでは、異なるハードウェアアクセラレーター用に専用コードパスが実装されています。各バックエンドは動的ライブラリとしてコンパイルされ、実行時にロードできるため、同じバイナリがさまざまなプロセッサーにシームレスに適応することが可能になります。

この設計により、ソフトウェアは150以上のモデルアーキテクチャ変種と主流の投機的デコーディング手法をサポートします。ハードウェア固有の詳細を交換可能なバックエンドに抽象化することで、ライブラリは軽量な推論エンジンとして機能するポータブルなC/C++実装を維持しています。NVIDIA、AMD、Qualcomm、Arm、IBM、Intelなどのハードウェアパートナーから提供されるセルフホストランナーを含む最近のインフラ投資により、これらのバックエンドはマスターブランチに到達する前に正確性について厳密にテストされていることが保証されています。

主要な詳細

  • 安定したAPI: libllamaおよびlibggmlの公開ヘッダーは、現在セマンティックバージョニングルールのもとで安定版とみなされています。
  • バージョニングポリシー: メジャーバージョンの更新は、公開C APIに対する破壊的変更の場合のみ発生します。
  • 配布チャネル: Docker、Debian、Homebrew、conda-forge、MacPorts、Winget、およびXCFrameworksに対する公式サポートが追加されました。
  • ハードウェアサポート: NVIDIA、AMD、Qualcomm、Arm、IBM、Intelハードウェア用のバックエンドが動的ライブラリ経由で利用可能です。
  • モデルカバレッジ: 150以上のアーキテクチャ変種と標準的な投機的デコーディング技術をサポートします。
  • インフラ: Hugging Face Buckets and Jobsを使用してCI容量をスケールし、すべての主要プラットフォームでの正確性を保証します。

なぜ重要なのか

オンデバイスAIを用いた製品を構築するソフトウェアエンジニアにとって、APIの安定性は極めて重要です。バージョン1.0.0以前では、ライブラリインターフェースにおける頻繁な破壊的変更が開発ワークフローを混乱させ、統合コードの絶え間ないリファクタリングを必要とする可能性がありました。セマンティックバージョニングへのコミットメントにより、チームは特定のメジャーバージョンに依存関係をピン留めし、マイナーおよびパッチアップデートがビルドを壊さないという安心感を得られるようになりました。この予測可能性は、ソフトウェアサプライチェーンセキュリティとメンテナンスオーバーヘッドが重大な懸念事項であるエンタープライズ環境において不可欠です。

拡大した配布オプションは、ローカルAIソリューションの展開における一般的な課題にも対応しています。特定のハードウェアバックエンドを持つC++プロジェクトのコンパイルは、特に複数のオペレーティングシステムを対象とする場合、複雑でエラーが発生しやすいことがあります。Homebrewやconda-forgeなどの標準的なマネージャーを通じてプリビルド済みアーティファクトとパッケージを提供することで、プロジェクトは統合の摩擦を軽減します。これにより、開発者はビルドシステムの設定ではなくアプリケーションロジックに集中でき、プライバシー保護型AI機能の市場投入までの時間を短縮できます。

実施できること

  • プロジェクトの依存関係を更新し、libllamaおよびlibggmlのバージョン1.0.0以降を参照するようにしてください。
  • llama.cpp/include/およびggml/include/内の公開ヘッダーに対して統合コードを確認し、準拠していることを検証してください。
  • 可能な限り、ソースからのコンパイルからHomebrewやconda-forgeなどの公式パッケージマネージャーへ切り替え、更新を簡素化してください。
  • 新しい動的バックエンド読み込みメカニズムでアプリケーションをテストし、ターゲットデバイスでのハードウェアアクセラレーションを検証してください。
  • プロジェクトのセマンティックバージョニングガイドラインを監視し、破壊的変更が発生した場合に備えて将来のメジャーアップグレードを計画してください。
  • サポートされているモデルアーキテクチャを検討し、特定のハードウェア上の推論パフォーマンス最適化の機会を見つけてください。
  • #llama.cpp
  • #local ai
  • #open source
  • #api stability
  • #inference

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

オープン&ローカルAI

Ggml 1.0、FP8およびマルチバックエンド最適化によりローカルAI推論を安定化

ggmlライブラリがバージョン1.0に到達し、FP8サポート、YaRN切り詰め制御、そしてCUDA、Metal、Vulkanなどのバックエンドにおける大幅なパフォーマンス向上を導入しました。これはローカル大規模言語モデルツールを支える基盤です。

すべての記事