Nenya-2.5B、ローカルAI開発に効率的な線形アテンションを導入

ArsalanZ氏は、効率的なローカル実行向けに設計された新しいオープンウェイト言語モデル「Nenya-2.5B-A0.5B-Base」をリリースしました。2026年11月にHugging Faceで公開されたこのモデルは、クラウドAPIに依存せず、コンシューマー向けハードウェア上で直接動作する高性能なAIアシスタントを必要とする開発者に向けています。リリースには、OLMo-2やQwen3.5などの既存の小規模モデルとの性能比較を示す詳細なベンチマークデータが含まれています。

このモデルは、特にApple SiliconおよびNVIDIAカードなど、最新のGPU上での速度を優先する特定のアーキテクチャ選択により差別化されています。Gated Delta Networks（GDN-2）と最適化されたTritonカーネルを活用することで、Nenya-2.5Bは比較的小さいメモリフットプリントを維持しながら高いトークンスループットを実現します。これにより、プライバシー重視のアプリケーションを構築するエンジニアや、接続性が限られた環境で作業するエンジニアにとって魅力的な選択肢となります。

何が起きたか

核心的な出来事は、Nenya-2.5B-A0.5B-Baseモデルの重みファイルと関連する評価スクリプトの一般公開です。モデルファイルはわずか3.5 GBとコンパクトであり、迅速なダウンロードが可能で、多くの最新ノートパソコンのメモリに容易に収まります。初回使用時にはシステムがこれらの重みを自動的に取得するため、すぐにモデルをテストしたい開発者のセットアッププロセスが簡素化されます。

パフォーマンス指標は、特定のハードウェアにおけるモデルの効率性を強調しています。Apple M4チップでは、モデルはGPU上で直接動作し、約125トークン/秒の生成速度を達成します。このレベルのパフォーマンスにより、CPU上で動作する大規模モデルに伴う典型的な遅延なしに、コード補完やインタラクティブなチャットボットなど、多くのユースケースでのリアルタイム対話が可能になります。リリースノートでは、この速度は正しいバックエンド設定の使用に依存することが強調されています。

著者はまた、lm-evaluation-harness バージョン0.4.13を使用した包括的なベンチマーク結果も提供しました。これらの評価は、bf16重みと4,096トークンのコンテキストウィンドウを使用するなど、公平性を確保するための厳格な条件下で実施されました。ベンチマークは、一般知識、推論、コーディング能力など、幅広いタスクをカバーしています。結果は、Nenya-2.5Bが他のいくつかの競合モデルよりも大幅に少ないトークン数で訓練されているにもかかわらず、他の小規模モデルに対する競争力のある代替案であることを示しています。

仕組み

Nenya-2.5Bは、多くのトランスフォーマーモデルで見られる標準的なsoftmaxアテンションとは異なる線形アテンションメカニズムであるGDN-2レイヤーに依存しています。線形アテンションはシーケンス長に対してより効率的にスケールし、推論中の計算負荷を軽減します。しかし、これらのパフォーマンス向上を実現するには、モデルは特定のソフトウェア最適化を必要とします。NVIDIA GPUでは、ユーザーはTritonカーネルを有効にするために、特にCUDAエクストラを含むflash-linear-attentionライブラリをインストールする必要があります。これらのカーネルにより、GDN-2レイヤーはGPUハードウェア上で効率的に実行されます。

最適化されたカーネルがインストールされていない場合、またはMac上で適切な設定なしに標準的なtransformers経由でモデルを実行する場合、純粋なPyTorch再帰実装にフォールバックします。このフォールバックは同一の結果を生み出しますが、特に長いプロンプトを処理する際には著しく遅くなります。この区別は、遅延が重要な本番環境でモデルを展開する開発者にとって極めて重要です。モデルはbf16とfp32の両方の精度をサポートしていますが、訓練および評価設定と一致するため、bf16が推奨されます。

サンプリングにおいて、モデルは多様で創造的な出力を促すためのデフォルトパラメータとして温度0.9とtop-k 20を使用します。数学、コード生成、短い事実的クエリなど、決定論的な回答が必要なタスクの場合、ユーザーは温度を0に設定できます。これにより貪欲デコーディング（greedy decoding）が有効になり、各ステップで最も可能性の高い次のトークンを選択し、構造化された出力の一貫性と正確性を保証します。

主要な詳細

• モデルサイズ: 重みファイルは3.5 GBで、コンシューマーデバイスへの配布とロードが容易です。
• ハードウェアパフォーマンス: 正しく設定した場合、Apple M4 GPUで約125トークン/秒を達成します。
• 訓練データ: 0.06兆トークンで訓練されており、多くの競合モデルより少ないですが、依然として競争力のある結果を生み出します。
• 精度: bf16精度で評価され、使用が推奨されていますが、fp32もサポートされています。
• 最適化: NVIDIA GPUでの最適なパフォーマンスには、CUDAエクストラ付きのflash-linear-attentionが必要です。それ以外の場合は、より遅いPyTorch再帰を使用します。
• コンテキストウィンドウ: ベンチマークは4,096トークンのウィンドウを使用して実施されました。

なぜ重要なのか

ソフトウェアエンジニアや技術系創業者にとって、Nenya-2.5Bのリリースは、より効率的なローカルAIモデルへのトレンドを浮き彫りにします。インターネットアクセスなしでノートパソコンのGPU上で有能な言語モデルを実行できる能力は、プライバシーに敏感なアプリケーションのための新たな可能性を開きます。開発者は機密データをローカルで処理するツールを構築でき、ユーザー情報がデバイスから離れることを防ぎます。これは、データの主権が重要な要件となるヘルスケア、金融、リーガルテックなどの業界で特に重要です。

さらに、訓練サイズに対するモデルのパフォーマンスは、GDN-2のようなアーキテクチャ革新が小さいデータセットを補償できることを示唆しています。SmolLM3やGemma 4などのモデルが10兆トークン以上で訓練された一方、Nenya-2.5Bはわずか0.06兆トークンでいくつかのベンチマークにおいて同等のスコアを達成しています。この効率性は、有用なパフォーマンスレベルを達成するために巨大なデータセットが必要ない可能性があるため、モデルのファインチューニングやカスタマイズを行いたいチームにとって参入障壁を下げる可能性があります。

詳細なベンチマークは、今日の小規模モデルの位置について透明性のある視点も提供します。OLMo-2やQwen3.5などの確立されたベースラインと比較することで、開発者は自分の特定のニーズにどのモデルが適しているかについて情報に基づいた決定を下すことができます。例えば、コード生成が優先事項である場合、GitHubデータ上のbits-per-byteメトリクスは明確な比較を提供します。この透明性は、コミュニティが過度な期待を避け、実践的で測定可能な機能に焦点を当てる助けとなります。

できること

• Hugging Faceから3.5 GBの重みファイルをダウンロードし、ローカルマシンでモデルをテストしてください。
• NVIDIA GPUを使用している場合、最適な速度を確保するためにCUDAエクストラ付きのflash-linear-attentionをインストールしてください。
• コード生成や数学的問題解決など、精密な出力が必要なタスクには温度0を使用してください。
• 提供された評価スクリプトを実行し、特定のハードウェアとユースケースでモデルをベンチマークしてください。
• モデルの訓練条件と一致させ、パフォーマンスを最大化するために、推論にはbf16精度の使用を検討してください。
• 効率的なアーキテクチャを活用して反復を高速化し、独自ドメイン特化データでのモデルのファインチューニングを検討してください。