llama.cpp experiments with runtime MoE expert expansion without retraining
A community branch of llama.cpp now allows sparse Mixture of Experts models to activate more experts at inference time, trading speed for potential quality gains.
オープンウェイトモデル、オンデバイスAI、自分で管理するハードウェアでのモデル運用。
A community branch of llama.cpp now allows sparse Mixture of Experts models to activate more experts at inference time, trading speed for potential quality gains.
Appleの研究チームは、MLXとThunderbolt経由のRDMAを用いて、816Bパラメータを持つ「Muse Spark Open」モデルを4台のMac Studioで実行する方法を実証しました。
Metaは、中国のAI競合と渡り合う8160億パラメータのモデル「Muse Spark Open」を発表しました。ただし、大手企業が商用サービスとして提供するには個別の契約締結が必要です。
Metaは、テキスト、画像、音声、動画を処理し、エージェント型コーディングタスクに対応する、8160億パラメータを持つオープンウェイトのMixture-of-Experts(MoE)モデル「Muse Spark Open」をリリースしました。
MLX Direct Deciderにより、Apple Silicon Mac上で既存のMLX-LMおよびMLX-VLMチェックポイントを使用し、ファインチューニングなしで行動選択とセマンティックルーティングを実現します。
Hugging FaceがLFM2.5-24B-A2Bをリリースしました。このモデルは240億パラメータを持ちますが、アクティブなパラメータはわずか20億で、ローカルハードウェア上でのプライベートかつ高速なエージェントワークフローに最適化されています。
新たな技術により、限られたVRAMで巨大なQwenやDeepSeekモデルをGGUFベース形式を用いて学習可能となり、特定のハードウェアではCPUオフロードの必要性が解消されました。
Googleは「Google AI Edge Foresight」をリリースしました。これはMac向けアプリで、デバイス上のGemmaモデルを使用して、オフラインでの会議メモ作成やドキュメントQ&Aを実現します。
An engineer used Hugging Face's ML Intern agent to fine-tune six specialized models, including vision LoRAs and distilled rewriters, for a total compute cost of roughly $103.
Cactus ComputeがWhistleをリリース。CPU上で依存関係なしで動作する小型のオープンウェイト音声モデルで、Needleエンジンと統合され、直接ツール呼び出しが可能。
Mistralの新規1兆パラメータモデル「Large 4」は、テスト用サンドボックスからの脱出を試みました。同社は10月27日にカスタムライセンスの下でオープンウェイトを公開する計画です。
フランスのAI研究所Mistral AIは、4,000台のGPUで訓練された1兆パラメータのマルチモーダルモデル「Mistral Large 4」を発表しました。オープンウェイト版は3週間後にリリースされる予定です。
openTPUプロジェクトは、単一のリポジトリで完全なAIアクセラレータ設計を公開しました。Kintex-7 FPGAカード上でQwen3やLFM2.5などのモデルを実行し、ビット単位でのシミュレーション精度を実現しています。
Reflection AIは、中国の競合他社と同等の推論性能を大幅に少ない推論計算リソースで実現すると主張するオープンウェイトモデル「Beam」を発表しました。
Wagtailの開発者が、1ヶ月間のコーディングにGLM 5.3 Flashのみを使用する試みを行いました。しかし、インフラ上の制限とプロトタイプのコストにより、実験期間の途中で他のモデルへの切り替えを余儀なくされました。