自動ヒルクライムハーネスが単一のA100でvLLMとSGLangをチューニング
新しいオープンソースのKubernetesハーネスは、LLM推論エンジン向けの座標上昇法によるチューニングを自動化し、432回の試行を通じてvLLMおよびSGLangの設定を最適化しました。
英語の原文から自動翻訳されました。
Johnson Shi氏は2026年11月22日、座標上昇法によるヒルクライムを用いて大規模言語モデル(LLM)の推論エンジンをチューニングする、自動化されたKubernetesハーネスをリリースしました。このツールはvLLMとSGLangを対象としており、最適なサービング設定を特定するために、NVIDIA A100 80GB GPU 1枚上で包括的な432回試行のベンチマークスタディを実行します。
何が起きたか
a100-inference-hillclimbというタイトルのリポジトリは、手動での試行錯誤なしに推論パフォーマンスを最適化するための構造化された方法を提供します。Kubernetesポッド内で隔離された試行を実行し、各設定変更が一貫したハードウェア条件下でテストされることを保証します。システムは推論サーバーコンテナとベンチマークサイドカーを組み合わせて、レイテンシ、スループット、リソース使用率の精密な測定を可能にします。
Shi氏のアプローチは再現性とノイズ低減に焦点を当てています。各試行を専用のGPUノード、つまり「レーン」にピン留めすることで、ハーネスは他のプロセスからの干渉を排除します。システムは共有メモリサイズを自動的に調整し、サーバーログをキャプチャし、nvidia-smi経由で電力、クロック速度、使用率などのGPUメトリクスをサンプリングします。すべての構造化された試行メトリクスはSQLiteデータベースに記録され、実行されたすべての実験の永続的な台帳を作成します。
プロジェクトには、特にNanbeige4.3-33Bモデル向けに実施された337回のベンチマーク試行の詳細なレポートが含まれています。このデータセットは、どの設定変更がパフォーマンスを改善し、どれが退歩を引き起こしたかを詳述しています。エンジニアは提供されているRESULTS.mdファイルを直接参照するか、results/ledger.sqliteデータベースをクエリしてこれらの結果にアクセスでき、最適化プロセスへの透明性を確保します。
仕組み
コアメカニズムは、バージョン管理されたワークロードプランと特殊なサイドカードライバーに依存しています。ハーネスは、単一ユーザーデコードベンチマークやポアソン容量探索など、複数の種類のテストを定義します。容量探索では、システムは幾何級数的なレートラダーを使用し、その後に二分探索を行って、少なくとも90パーセントのリクエストが厳格なサービスレベル目標(SLO)を満たす最大リクエスト到着レートを特定します。これらの目標では、最初のトークンまでの時間(TTFT)が2秒未満であり、出力トークンあたりの時間(TPOT)が100ミリ秒未満であることが要求されます。
信頼性を確保するため、ハーネスはノイズ補正付き座標上昇法を採用しています。新しい設定の挑戦者が現在のベストセットアップ、つまり現役王者(incumbent)を上回ろうとする場合、統計的に有意なマージンで現役王者のスコアを超える必要があります。このマージンは、同一ノード上での現役王者の反復実行から計算される、標準偏差の3倍または固定フロア値のいずれかの最大値として定義されます。挑戦者が成功した場合、新たな現役王者として承認される前に、新鮮な確認実行で勝利を繰り返す必要があります。
品質ゲートはテストループに直接統合されており、パフォーマンス向上がモデルの精度を損なわないようにします。システムは、200問のGSM8K数学問題、さまざまなコンテキスト長に埋め込まれた長いコンテキストのパスキー検索タスク、およびBF16参照トークンに対する教師強制負対数尤度チェックを使用して設定を評価します。これにより、速度の向上が推論能力やコンテキスト保持を犠牲にしないことが保証されます。
主要な詳細
- ハーネスは、正規化された設定ハッシュシステムを通じて管理される、複数の層にわたる22個のvLLM設定と21個のSGLang設定をサポートします。
- マルチターンエージェントセッションは、各6ターンの48人の同時ユーザーをシミュレートし、合計288ターンのp90 TTFTに基づいてパフォーマンスを採点します。
- 定常状態の容量探索は420〜540秒間実行され、安定した測定を確保するために初期ランプアップ期間のデータを無視します。
- 試行ごとのPod分離は、32 GiBの基本サイズプラス設定されたCPU KVオフロード領域から開始して、
/dev/shmサイズを自動的に調整します。 - 完全な432試行データセットは
results/ledger.sqliteに保存されており、ユーザーがチャートを再生成したりカスタム分析を実行したりできます。 - デプロイスクリプトには、kubeコンテキストやコンテナレジストリなどの環境固有の識別子の漏洩を防ぐためのpre-commitフックが含まれています。
なぜ重要なのか
本番LLMサービスを管理するエンジニアリングチームにとって、手動チューニングはしばしばボトルネックとなります。エンジニアは通常、バッチサイズ、量子化レベル、メモリ割り当てなどのパラメータを直感や限られたA/Bテストに基づいて調整します。このハーネスは推測を、設定空間を効率的に探索する体系的な検索アルゴリズムに置き換えます。より良いパフォーマンスへの登坂を自動化することで、チームは数週間にわたる手動実験に専念することなく、より高いスループットとより低いレイテンシを達成できます。
統計的有意性とノイズ補正への重点は、システムパフォーマンスエンジニアリングにおける一般的な痛点、つまり変動性に対処します。ハードウェアの変動やバックグラウンドプロセスはベンチマーク結果を歪める可能性があり、偽陽性を引き起こします。挑戦者が現役王者を標準偏差の3倍上回り、同一ノード上で結果を確認することを要求することで、ハーネスは報告された改善が実際のものであり、再現可能であることを保証します。この厳密性は、小さな非効率性が大きなコストへと複利化するような、スケールでのモデル展開において極めて重要です。
さらに、品質ゲートの組み込みは、システムエンジニアリングと機械学習の間のギャップを埋めます。多くの場合、速度を向上させる最適化はモデル出力の品質を低下させる可能性があります。GSM8Kやパスキー検索などの精度チェックをパフォーマンスチューニングループに直接統合することで、ツールは運用効率性がユーザー体験を損なわないことを保証します。この全体的なアプローチにより、技術リードはコスト、速度、品質のバランスをより高い確信を持って取ることができます。
あなたができること
- リポジトリに含まれるオフラインシミュレーターテストを実行し、GPUクラスタなしでクライミングロジックを理解してください。
results/ledger.sqliteデータベースを検査し、432試行データセットを分析して、あなたのモデル向けの高パフォーマンス設定を特定してください。.envファイルに特定のノード名とコンテナレジストリの詳細を設定して、Kubernetes GPUクラスタ上にハーネスを展開してください。- 提供されているCLIコマンドを使用して個別の試行やバッチキャンペーンを実行し、パラメータ相互作用に関する特定の仮説をテストしてください。
docs/decisions.mdログを確認して、ハーネス設計の背後にあるエンジニアリングの根拠を理解し、その原則をあなたのインフラストラクチャに適応させてください。tools/post_charts.pyスクリプトを使用して、独自のキャンペーンデータから視覚的レポートを生成し、時間の経過に伴うパフォーマンストレンドを追跡してください。



