オープン&ローカルAI

Linux環境変数1つでllama.cppの推論速度を向上

GLIBC_TUNABLESを設定してヒュージページを有効にすると、llama.cppにおけるページフォールトが減少し、NVIDIA H100 GPUでは最大21%のスループット向上が得られます。

回路基板上で4KBの小ページと2MBのヒュージページを比較したイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

Linuxのメモリ管理に関するシンプルな設定変更により、ローカルでの大規模言語モデル(LLM)サービングの速度が大幅に加速することが確認されました。環境変数を1つ設定するだけで、llama.cppやOllamaを使用するエンジニアはメモリ割り当てによるCPUオーバーヘッドを削減でき、ソースコードを変更することなく応答時間の短縮とリクエストスループットの向上を実現できます。

何が起きたか

LLM推論最適化に特化したオープンソースツール開発企業であるTenswardのエンジニアらは、自社のllama.cppサーバーがLinuxカーネルによるメモリ割り当てを待機するのに相当な時間を費やしていることを発見しました。ボトルネックはGPUではなく、会話スナップショットの保存に対するオペレーティングシステムのRAMリクエスト処理方法にありました。glibcチューナブルを通じて「ヒュージページ」を有効にすることで、NVIDIA H100 GPUにおいてリクエストあたりのページフォールト数を約145,000回からわずか1,850回にまで削減しました。

チームはこの調整を、ローカルAIデプロイメントで広く使用されているモデルQwen3.8-27Bでテストしました。この変更にはコードの再コンパイルやroot権限は不要で、サーバープロセス起動前にGLIBC_TUNABLES=glibc.malloc.hugetlb=1を追加するだけです。この調整により、メモリアロケータはより大きな連続したメモリブロックを要求するようになり、書き込み操作中のカーネル介入が最小限に抑えられます。

性能向上はハードウェアとワークロードによって異なります。H100でツール呼び出しプロンプトを処理する場合、スループットは21%増加し、最初のトークンまでの中央値時間は22%短縮されました。NVIDIA L4などの低速なハードウェアでも、通常のチャットシナリオでは最初のトークンの到着が22%早まりましたが、全体的なスループット向上は3.5%にとどまりました。これらの結果は、CPUのメモリ割り当てレイテンシが総リクエスト時間の重要な割合を占める場合、その恩恵が最も顕著であることを示唆しています。

仕組み

Linuxは通常、ページと呼ばれる4 KBの小さなチャンクでメモリを割り当てます。llama.cppのようなプログラムが新しいページへ初めて書き込む際、カーネルはそのセットアップのために介入する必要があり、これをページフォールトと呼びます。大規模モデルの場合、会話状態の保存には150 MB以上のスナップショット作成が必要となり、数十万回のページフォールトが発生します。これらのスナップショットを管理するスレッドはGPUへのデータ供給も行うため、ページフォールトによるすべての一時停止が推論パイプライン全体を停滞させます。

ヒュージページを使用すると、システムは4 KBではなく2 MBブロックでメモリを割り当てることができます。glibcチューナブルを設定することで、アプリケーションはこれらのより大きなブロックを明示的に要求します。これにより、カーネルがメモリメタデータを管理するために実行を停止する回数が劇的に減少します。その結果、CPUは管理上のメモリタスク処理に費やす時間が減り、並列処理のための入力準備により多くの時間を割けるようになるため、GPUへのデータフローがスムーズになります。

主要な詳細

  • この最適化にはglibcバージョン2.35以降が必要であり、Ubuntu 22.04およびDebian 12以降で利用可能です。
  • テスト中、H100ハードウェアではリクエストあたりのページフォールト数が約145,000回から約1,850回に減少しました。
  • H100ではツール呼び出しプロンプトのスループットが21%増加しましたが、同じワークロードでL4では6.5%の増加にとどまりました。
  • Ollamaユーザーにも効果が確認されており、マシンに応じて2%から7%のパフォーマンス向上が見られました。
  • vLLMやSGLangなど、すでにページフォールトを最小限に抑えているフレームワークでは、この修正による大幅な改善は見込めません。
  • この設定を有効にしてOllamaを実行した場合、メモリ使用量は平均で約0.5 GB増加しました。

なぜ重要なのか

ローカルLLMを用いた製品を開発するエンジニアにとって、この発見はGPU性能だけが推論速度の決定要因ではないことを浮き彫りにします。H100とL4の比較のようにGPUが高速化するにつれ、メモリ割り当てなどのCPU側操作の相対的なコストが増加します。リクエストあたり0.1秒という固定遅延は、高速カードでは低速カードよりも総時間に対してはるかに大きな割合を占めます。これは、ハードウェアが加速するほど、システムレベルの設定最適化がますます重要になることを意味します。

このアプローチは、llama.cppやOllamaを使用するチームにとって、低リスクかつ高リターンのチューニング機会を提供します。コード変更が不要で、安定性や回答品質への影響も最小限であるため、ユーザー体験の向上に向けて迅速に導入できます。特に知覚レイテンシがユーザー満足度を左右するインタラクティブなアプリケーションにおいて、最初のトークンまでの時間短縮は非常に価値があります。

実施できること

  • ターミナルでldd --versionを実行し、システムにglibc 2.35以降がインストールされていることを確認してください。
  • /sys/kernel/mm/transparent_hugepage/enabledを確認して、透過的ヒュージページが有効になっているかチェックしてください。
  • llama.cppサーバー起動コマンドの前にGLIBC_TUNABLES=glibc.malloc.hugetlb=1を付けて実行してください。
  • Ollamaの場合は、ollama serveプロセス起動時に同じ環境変数を適用してください。
  • /proc/[pid]/smaps_rollup内のAnonHugePagesを確認し、ヒュージページが実際に使用されているかを監視して効果を測定してください。
  • ps -o min_flt=を使用して変更前後のページフォールト数を比較し、削減量を定量化してください。
  • #llama.cpp
  • #linux
  • #performance
  • #ollama
  • #inference

Bytechapストアのツール

$89

DocBento

すべてのスキャンを読み取り、ページ出典を提示して回答するセルフホスト型ドキュメント管理システム。

ライブデモ

続きを読む

オープン&ローカルAI

DaisyRose-27B、効率的なポストトレーニングでベンチマークスコアを向上

RadixArkがDaisyRose-27Bを公開しました。このモデルは、新しい非同期トレーニングフレームワークとコスト効率の高いサンドボックスインフラストラクチャを使用することで、主要なベンチマークにおいてQwen3.8-27Bを上回る性能を発揮しています。

すべての記事