Ggml 1.0、FP8およびマルチバックエンド最適化によりローカルAI推論を安定化
ggmlライブラリがバージョン1.0に到達し、FP8サポート、YaRN切り詰め制御、そしてCUDA、Metal、Vulkanなどのバックエンドにおける大幅なパフォーマンス向上を導入しました。これはローカル大規模言語モデルツールを支える基盤です。
オープンウェイトモデル、オンデバイスAI、自分で管理するハードウェアでのモデル運用。
ggmlライブラリがバージョン1.0に到達し、FP8サポート、YaRN切り詰め制御、そしてCUDA、Metal、Vulkanなどのバックエンドにおける大幅なパフォーマンス向上を導入しました。これはローカル大規模言語モデルツールを支える基盤です。
llama.cpp v1.0 リリースでは、破壊的なAPI変更が導入され、NVIDIA RTX 30シリーズGPUにおけるマルチリクエストおよび推測デコーディングワークロードの性能が大幅に向上しました。
llama.cppプロジェクトがバージョン1.0.0をリリースし、プライベートなオンデバイスAIアプリケーションを開発するエンジニア向けに、安定した公開APIと配布チャネルの拡大を発表しました。
The new open-source Edge0-145B model runs on personal hardware with 29GB peak memory, enabling complex coding and reasoning tasks without cloud dependencies.
llama.cppプロジェクトはバージョン1.0.0を公開し、非推奨APIの削除、Kimi-K3.1およびRippleモデルへの対応追加、サーバーセキュリティの強化を行いました。
セキュリティスキャンダルを受け、Nvidia CEOのJensen Huang氏が辞任しました。これにより、同社のオープンウェイトAIモデルへの支援や進行中の買収の将来について疑問が生じています。
オープンウェイトAIモデルは、HTTPダウンロードからBitTorrentによる配布へと移行しつつあります。この手法は、不変なデータハッシュと分散型ピアネットワークを活用し、巨大なファイルサイズを効率的に処理します。
smolmaxxingプロジェクトは、フラッシュストレージから重みをストリーミングすることで、利用可能なRAMがわずか1GBしかないデバイスで大規模なMixture-of-Experts(MoE)モデルを実行する方法を示しています。
Tether AI Researchが、デバイス内でのツール利用とプライバシーに最適化された0.8Bパラメータのオープンウェイトモデル「BotPsy」をリリースしました。
Meta AIは、エージェントタスクや複雑な推論に最適化された小型モデル「Muse Ember 1.0」をリリースしました。GPT-6 LunaやClaude Haiku 5.5に対抗する競争力のある価格設定です。
コミュニティによるパッチが、Kepler GPU 上の K-quant モデルで cuBLAS 速度を回復させ、欠落していた逆量子化カーネルに起因する大幅な遅延を修正しました。
MiniMaxは、オープンソースの拡散変換器(Diffusion Transformer)である「MiniMax-H3-Image」を公開しました。このモデルは、6回のサンプリングステップで16メガピクセルの画像生成と参照ベースの編集を単一のチェックポイント内で実行します。
Latent SpaceがNaive-N0.5-FlashをDeepSeekやGLMと比較ベンチマークし、高いトークンスループットと推論コストの変動を確認しました。
Amazon SageMaker JumpStartで、NVIDIAの新しいオープンウェイト視覚言語モデルが利用可能になりました。120Bパラメータのアーキテクチャを採用し、ドキュメントおよび動画分析向けの推論が最適化されています。
新しいオープンウェイトモデル「Nenya-2.5B」は、GDN-2レイヤーとflash-linear-attentionカーネルを使用し、小規模ハードウェアでも競合する性能を発揮し、推論速度を向上させます。