ブログ

最新記事

AI、開発者向けツール、インフラのデイリーカバー。各記事では、何が起こり、なぜ重要なのかを解説し、元の出典へのリンクを提供します。

AIで開発する

NVIDIA DGX SparkでMoE推論を高速化するための3つの最適化

Ling-3.0-flashのプロファイリングにより、デコーディングがメモリ帯域幅に制限されていることが判明しました。カーネルの置き換え、LMヘッドの量子化、マルチトークン予測の導入により、GSM8Kでのスループットが42.5%向上しました。

AIで開発する

AI生成の研究アイデアに対するLLMの新規性判定は失敗する

Hugging Faceによる新しい研究では、大規模言語モデル(LLM)がAI生成の科学的アイデアの新規性を信頼できる形で評価することに苦戦しており、プロンプトのわずかな変更によって性能が急激に低下することが明らかになりました。