LookAtMyQuantコンパイラ、精度低下を最小限に抑えつつモデルサイズを削減
新しいオープンソースの量子化コンパイラは、トレリスコードとフィッシャー情報量を用いて大規模言語モデルを大幅に圧縮し、高いベンチマークスコアを維持します。
英語の原文から自動翻訳されました。
GitHubユーザーShinMegamiBosonが、標準的な手法と比較して元のモデルからの乖離(divergence)を大幅に低減するオープンソースの量子化コンパイラ「LookAtMyQuant」を公開しました。2026年11月21日に発表されたこのプロジェクトは、重要な推論能力を犠牲にすることなく、ファイルサイズを半分以上削減できるターゲットを絞った圧縮技術の実現可能性を示しています。リリースには、最近の複数のモデルに対する詳細なベンチマークデータと、Apple Siliconハードウェア向けの専用ランタイムが含まれています。
何が起きたのか
LookAtMyQuantの中核的な成果は、Gemma 4 E2BなどのモデルをGGUF形式に圧縮する際、同じファイルサイズで一般的なQ4_K_M手法よりもKullback-Leiblerダイバージェンス(KLダイバージェンス)を12分の1に低減できる点にあります。このコンパイラはネットワーク全体に対して均一な圧縮を適用するわけではありません。代わりに、各構成要素の圧縮による影響を測定し、最も重要な部分にビットを割り当てます。このアプローチにより、開発者は出力品質の典型的な劣化を招くことなく、より大きく高性能なモデルをメモリ環境が制限された状況で実行できるようになります。
また、本プロジェクトでは改良版のレシピである「LookAtMyQuant 2」も導入されました。これはQwen3.5-4Bをわずか1.23 GBに圧縮するものです。重みあたり2.3ビットという極端な削減にもかかわらず、このモデルは540問のうち330問の正確な答えを要する数学問題を解き、はるかに大きな対照モデルのパフォーマンスにほぼ匹敵しました。より大きなQwen3.8-27Bモデルでは、フットプリントを53.7 GBから7.2 GBへ削減しました。この設定において、圧縮後のモデルは複雑な数学ベンチマークで元のモデルのスコアと一致し、コード生成および一般知識テストでは他の量子化バージョンを上回りました。
仕組み
LookAtMyQuantは、圧縮を最適化問題として扱うポストトレーニング量子化ツールとして機能します。重みの各行ごとのフィッシャー情報量を計算し、変化に対する感度を決定します。モデルの出力精度への寄与度が高い行にはより多くのビットが割り当てられ、重要度の低い行はより強く圧縮されます。コンパイラは効率的な誤り訂正符号であるトレリスコードを使用して重みを表現します。これにより、総ファイルサイズが厳格な予算内に収まるようにしつつ、モデルの挙動全体の歪みを最小限に抑えます。
プロセスはいくつかの明確な段階を含みます。まず、コンパイラはモデルの個別部分を圧縮することによって生じるKLダイバージェンスを測定します。次に、計算された重要度に基づいて行ごとにビットを割り当てる計画を作成します。最後に、モデルを数千ステップにわたってファインチューニングする蒸留(distillation)ステップを実行します。このフェーズ中、すべての層が元の重みから一度再量子化され、モデルが新しい圧縮表現に適応するのを助けます。パイプライン全体は自動化されるよう設計されており、クラウドGPUインフラストラクチャ上で各ジョブを実行するためのスクリプトが提供されています。
主要な詳細
- コンパイラは、Gemma 4 E2Bについて、同じファイルサイズでQ4_K_Mと比較して12倍低いKLダイバージェンスを達成しました。
- Qwen3.5-4Bは1.23 GBに圧縮され、540問の数学問題のうち330問を解きました。これは元のモデルの359問に近い結果です。
- Qwen3.8-27Bは7.2 GBに削減され、GSM8K数学ベンチマークで元のモデルのスコアと一致しました。
- Inkling-2-Miniモデルは4つのバリアントに圧縮され、そのうち12.8 GBバージョンは教師モデルのベンチマークスコアの100%と一致しました。
- Apple Siliconランタイムは投機的デコーディング(speculative decoding)をサポートしており、12.8 GBのInklingビルドで中央値タスクにおいて毎秒100トークン以上の速度を達成しています。
- Qwen3.5-4Bの完全なレシピを実行するためには、クラウドインフラストラクチャ上でのGPU時間コストが約34ドルかかりました。
なぜ重要なのか
ローカルAIアプリケーションを開発するエンジニアにとって、メモリ帯域幅とストレージはしばしば主要なボトルネックとなります。4ビットや8ビット整数変換などの従来の量子化手法は実装が容易ですが、特にコーディングや数学といった複雑なタスクにおいて、推論能力の顕著な低下を引き起こすことがよくあります。LookAtMyQuantは、消費者向けハードウェアで実行できるほど小さいモデルにおいても、高次の認知パフォーマンスを維持するための道を提供します。これにより、継続的なクラウド接続に依存することなく、ノートパソコンやエッジデバイス上でより洗練されたエージェントを動作させることが可能になります。
MITライセンスのもとでコードが利用可能であることも、実験への障壁を下げる要因となっています。開発者は現在、これらの高度な圧縮技術を自身のファインチューニング済みモデルに適用できます。フィッシャー情報量を用いてビット割り当てをガイドすることで、チームはコード生成や多言語サポートなど、モデルが必要とする特定のスキルを優先したカスタム量子化プランを作成できます。このようなレベルの制御は、以前は相当な計算リソースを持つ大規模研究ラボにのみ許されたものでした。
できること
- pipを使用してApple Siliconランタイムをインストールし、事前圧縮済みのQwenおよびInklingモデルをローカルでテストしてください。
lamq generateコマンドを使用し、投機的デコーディングによる推論を実行して応答時間を短縮してください。- SmolLM2-360Mなどの小規模モデルでコンパイラを実行し、測定および割り当てワークフローを理解してください。
- 提供されている行プラン(row plans)を検討し、ネットワークの異なる層間でビットがどのように分散されているかを確認してください。
modal_app.pyスクリプトを適応させ、クラウドGPUを使用して独自のモデルで完全な量子化レシピを実行してください。- 現在の量子化手法のKLダイバージェンス指標を、LookAtMyQuantのベースラインと比較してください。



