ブログ

最新記事

AI、開発者向けツール、インフラのデイリーカバー。各記事では、何が起こり、なぜ重要なのかを解説し、元の出典へのリンクを提供します。

AIで開発する

AWS BedrockでCDKとマネージドナレッジベースを用いたエージェント型リトリバルを構築

Amazon Web Servicesは、Managed Amazon Bedrock Knowledge BasesとAWS Cloud Development Kitを使用してエンタープライズ向けのエージェント型リトリバルを展開する方法について詳述しています。これにより、手動でのベクトルストア管理が自動化に置き換えられます。

AIで開発する

Mistrial、統計的厳密さでLLMジャッジの信頼性を測定

新しいオープンソースツール「Mistrial」は、自己一致度、Cohen's kappa、CIゲートリスク分析を用いてLLM評価器の不安定性(flakiness)を定量化し、ノイズの多いスコアがデプロイメントを妨げることを防ぎます。

セキュリティとプライバシー

悪意あるAGENTS.mdファイル、Downloadsフォルダ経由でAIコーディングエージェントを悪用

セキュリティ研究者らは、Downloadsフォルダに置かれた平文の指示ファイルが、AIコーディングエージェントを騙してマルウェアをインストールさせたり、トークンを漏洩させたりする可能性があることを発見しました。

クラウドとインフラ

FlameサービングのチューニングでスタンドアロンvLLMのスループットに匹敵する性能を実現

ベンチマークテストにより、プレフィックスアフィニティとバッチ受け入れを最適化することで、vLLMを組み込んだ調整済みFlameサービスが短いバースト負荷においてスタンドアロンvLLMのスループットの1%以内の差まで迫ることが示されました。