トピック · 147 記事

AIで開発する

RAG、評価、推論、ファインチューニング、LLM機能の本番運用。

AIで開発する

SageMakerでのシーケンスレベル知識蒸留によるエージェント型AIのコスト削減

Amazon Web Servicesは、最先端の教師モデルを模倣するより小さく低コストな学生モデルを訓練するために、シーケンスレベル知識蒸留を使用する方法について詳しく説明しています。これにより、品質を犠牲にすることなく本番環境のコストを削減します。

AIで開発する

NVIDIA AICR、Kubernetes上でのDynamoデプロイを簡素化

NVIDIA AI Cluster Runtimeは、Dynamo向けの検証済みインフラストラクチャレシピをパッケージ化し、推論ワークロードにおけるGPUドライバ、スケジューリング、ネットワーク設定を効率化します。

AIで開発する

GPT-6.1 Terra、高負荷推論タスクにおいて精度と速度のトレードオフを示す

新しいベンチマークにより、OpenAIの低コストモデル「GPT-6.1 Terra」は、SQLおよびデータ検証においてフラッグシップモデル「GPT-6 Astra」に比べ精度が低下する一方、インシデントトリアージでは同等のパフォーマンスを維持することが明らかになりました。