NVIDIA Hopper GPUでのMoE推論をカーネルエンジニアリングで最適化
AWSのエンジニアが、Hopper GPU上のMixture-of-Expertsモデル向けに3つのカーネル最適化手法を公開しました。これによりスループットが10%向上し、レイテンシが9%削減されました。
RAG、評価、推論、ファインチューニング、LLM機能の本番運用。
AWSのエンジニアが、Hopper GPU上のMixture-of-Expertsモデル向けに3つのカーネル最適化手法を公開しました。これによりスループットが10%向上し、レイテンシが9%削減されました。
Speculative decoding lets large language models verify multiple token guesses in a single forward pass, reducing memory-bound latency without changing output distribution.
Metaのエンジニアは、断片化したアイドル状態の推論容量を活用してより多くの広告をランキングし、ベースラインの遅延に影響を与えずにより優れたモデルを提供するシステムを構築しました。
NVIDIAとプリンストン大学の研究者が、メモリトラフィックの削減と投機的ロールバックの簡素化により、状態空間モデル(SSM)のデコードを高速化する技術「ReplaySSM」を発表しました。
Mathematicians are using the Lean theorem prover to verify complex proofs. In 2026, AI-driven autoformalization turned manual transcription into a practical reality.
Researchers show that tokenizer-free byte models outperform subword models at scale by learning local text structures internally, enabling faster speculative decoding.
SpaceXのGrok Botは、タスクごとに最適なバックエンドモデルを選択するようになりました。これは、大量処理には安価なモデルを、複雑な作業には高価なモデルを使用するという、業界全体のトレンドを反映しています。
Apple researchers introduce Normalizing Trajectory Models to achieve high-quality image generation in four steps while retaining exact likelihood training.
Scale AIは、報酬ハッキングや解答の漏洩が発覚した監査結果を受け、公開コーディングベンチマークから89タスクを削除し、評価ランタイムをロックしました。
AI エージェントはバースト的でステートフルなトラフィックを生成し、モノリシックな API に負荷をかけます。エンジニアは、バルクヘッドと共有データベースを使用して計算処理とデータを分離することで、この問題を解決できます。
Anthropic launched Claude Haiku 5.5, matching OpenAI's GPT-6 Luna pricing for short contexts but introducing a less efficient tokenizer and higher costs for long inputs.
OpenAI released the Decisions API in public beta, offering typed answers like probabilities and choices from images or text using the gpt-6-luna model.
Burn 0.22はユーザーAPIからバックエンド型パラメータを排除し、再ビルド時間を最大15倍短縮するとともに、LoRAサポートを追加しました。
GoogleがEmbeddingGemma 2をリリースしました。これはテキスト、コード、音声、ビデオの埋め込みを統合する軽量なオープンモデルで、デバイス上での効率的な検索を可能にします。
Cloudflareは、ドキュメント抽出とルーティングに最適化された27Bパラメータのモデル「Clef」を発表しました。Ollamaを通じてテキストと画像を単一のパスで処理します。