トピック · 147 記事

AIで開発する

RAG、評価、推論、ファインチューニング、LLM機能の本番運用。

AIで開発する

NVIDIA DGX SparkでMoE推論を高速化するための3つの最適化

Ling-3.0-flashのプロファイリングにより、デコーディングがメモリ帯域幅に制限されていることが判明しました。カーネルの置き換え、LMヘッドの量子化、マルチトークン予測の導入により、GSM8Kでのスループットが42.5%向上しました。

AIで開発する

AI生成の研究アイデアに対するLLMの新規性判定は失敗する

Hugging Faceによる新しい研究では、大規模言語モデル(LLM)がAI生成の科学的アイデアの新規性を信頼できる形で評価することに苦戦しており、プロンプトのわずかな変更によって性能が急激に低下することが明らかになりました。

AIで開発する

AWS BedrockでCDKとマネージドナレッジベースを用いたエージェント型リトリバルを構築

Amazon Web Servicesは、Managed Amazon Bedrock Knowledge BasesとAWS Cloud Development Kitを使用してエンタープライズ向けのエージェント型リトリバルを展開する方法について詳述しています。これにより、手動でのベクトルストア管理が自動化に置き換えられます。

AIで開発する

Mistrial、統計的厳密さでLLMジャッジの信頼性を測定

新しいオープンソースツール「Mistrial」は、自己一致度、Cohen's kappa、CIゲートリスク分析を用いてLLM評価器の不安定性(flakiness)を定量化し、ノイズの多いスコアがデプロイメントを妨げることを防ぎます。