Inkling 2 Mini、ループ型トランスフォーマーアーキテクチャをローカルハードウェアへ
Thinking Machines Labが、独自のループ層アーキテクチャを採用し、ローカル環境向けに設計されたマルチモーダルMixture-of-Expertsモデル「Inkling 2 Mini」をリリースしました。
英語の原文から自動翻訳されました。
Thinking Machines Labは、ローカルデプロイメント用に最適化された新しいマルチモーダルMixture-of-Experts(MoE)モデル「Inkling 2 Mini」をリリースしました。2026年11月20日に公開されたこのモデルは、パラメータ効率と高性能のバランスを実現するループ型トランスフォーマーアーキテクチャを導入しており、データセンター規模のインフラストラクチャなしで高機能なAIを必要とする開発者をターゲットとしています。
何が起きたか
Inkling 2 Miniは、標準的な密接結合型(Dense)モデルや従来の疎結合型(Sparse)モデルからの大きな転換点です。物理的には約260億のパラメータを持ちますが、トークンごとにアクティブになるのは30億のみです。この効率性は、中間層を3回ループさせるという斬新な構造上の工夫によって実現されています。この設計により、モデルは物理的に24層しか保存していないにもかかわらず、論理的には48層を持つように振る舞います。その結果、メモリフットプリントをローカルマシンで扱えるサイズに抑えつつ、高い容量と推論の深さを維持できるシステムとなっています。
今回のリリースでは、テキストおよび画像入力に対応しており、コンテキストウィンドウは最大100万トークンです。Thinking Machines Labは、ストレージおよびメモリ要件をさらに削減するために、特にExpert重みに対してNVFP4およびMXFP8といった混合精度フォーマットでモデルを提供しています。また、推測的デコーディング(Speculative Decoding)を可能にするDSparkドラフターも含まれており、最小限のメモリコストでさらなる速度向上を図っています。このモデルは他の中規模ローカルモデルの直接的な競合として位置付けられており、初期テストではQwen 3.8 27Bと同等のパフォーマンスを示唆しています。
仕組み
Inkling 2 Miniの中核となる革新は、そのループ実行パスにあります。モデルは24個のデコーダー層で構成されていますが、処理フローは線形ではありません。層0~5および18~23は一度だけ訪問されますが、中間ブロックである層6~17はループ内で3回実行されます。重要なのは、これら3回のパスで同じ重みが再利用される点です。モデルが単に同じ処理を繰り返すのを防ぐため、クロスパスメッセージを使用します。各パスは、Key、Value、MLP入力に対する学習済みクエリを介して、前のパスの出力から情報を読み取ります。その後、ゲーティングコントローラーが、新しい入力をどれだけ保持し、前のメッセージをどれだけ統合するかを決定することで、各ループでの計算の精緻化を可能にしています。
このアーキテクチャは、Mixture-of-Expertsメカニズムによって支えられています。各層の訪問時に、ルーターは128個のプールから8つのExpertを選択します。隠れ次元サイズは2,304で、Expertの中間幅は1,152です。注意機構(Attention Mechanism)は24個のQueryヘッドと8個のKVヘッドを使用し、フルアテンション層において学習済みの相対位置ロジットと動的畳み込みを組み込んでいます。重み共有、反復的な精緻化、そして疎なExpert選択のこの組み合わせにより、モデルは論理深度とパラメータ数の観点で、その階級を超えるパフォーマンスを発揮します。
主要な詳細
- アーキテクチャ: 中間12層を3回ループさせることで、物理的な24層を論理的な48層として機能させるループ型トランスフォーマー。
- パラメータ: 総物理パラメータ数は約260億、トークンごとのアクティブパラメータ数は30億。
- コンテキストウィンドウ: テキストおよび画像入力ともに最大100万トークンに対応。
- 精度: NVFP4およびMXFP8のExpert重みを用いた混合精度フォーマットで提供。
- パフォーマンス: Artificial Analysis Intelligence Index v5における48件のベンチマークのうち32件でリードしており、コーディングタスクやビジョンタスクを含みます。
- 推論サポート: Transformers、Llama App (llama.cpp)、MLX、SGLangを通じて利用可能で、リリース初日から対応しています。
なぜ重要なのか
ソフトウェアエンジニアや技術系創業者にとって、Inkling 2 Miniはより効率的なローカルAIへのシフトを表しています。24層分のストレージしかないハードウェア上で、48層システムの論理深度を持つモデルを実行できる能力は、洗練されたAIアプリケーションへの参入障壁を下げるものです。これは特に、長いコンテキストウィンドウが必要でありながら厳格なメモリ制約内で動作しなければならないコーディングアシスタント、エージェントワークフロー、およびビジョンベースのツールに関連しています。混合精度重みと推測的デコーディングサポートの組み込みにより、開発者は高価なGPUクラスタを必要とせずにスループットを向上させることができます。
FrontierCode v2.0やTerminal-Bench 4.0などのベンチマークでのモデルのパフォーマンスは、開発環境に適していることを示唆しています。Gemma 4 31BやNemotron 3.5 Super VLのような大規模モデルに対し多くのカテゴリでリードすることで、Inkling 2 Miniはローカルで高機能なAIをデプロイしたいチームにとって魅力的な選択肢を提供します。可変ループ回数を持つ研究用バリアントの利用可能性も実験への扉を開き、ユーザーは特定のユースケースに応じて速度と品質のトレードオフを行うことができます。
できること
- モデルをローカルでテストする: macOSまたはWindowsでInkling 2 Miniを実行するために、提供されているGGUF量子化ファイル(IQ4_NLまたはQ8_0)とともにLlama Appまたはllama.cppを使用してください。
- Pythonと統合する:
transformersライブラリとAutoModelForMultimodalLMクラスを使用してモデルを読み込み、テキストまたは画像入力を処理してください。 - ループ回数を試す:
TML-d24-varloop-researchチェックポイントを使用し、ループ回数を変更して速度と出力品質への影響を観察してみてください。 - SGLangでデプロイする: SGLangを使用して本番対応サーバーをセットアップしてください。最適なパフォーマンスを得るためにSM103ハードウェアで実行することを推奨します。
- 推測的デコーディングを有効にする: SGLangセットアップにDSparkドラフターを追加し、特に長文コンテキストタスクでの生成速度を向上させてください。
- Apple SiliconでMLXを使用する: アップストリーム化されたMLXサポートを活用し、NVFP4およびMXFP8量子化でAppleハードウェア上にネイティブにモデルを実行してください。



