トピック · 147 記事

AIで開発する

RAG、評価、推論、ファインチューニング、LLM機能の本番運用。

AIで開発する

マイクロサービスの原則を用いてステートフルな AI エージェント API をスケーリングする

AI エージェントはバースト的でステートフルなトラフィックを生成し、モノリシックな API に負荷をかけます。エンジニアは、バルクヘッドと共有データベースを使用して計算処理とデータを分離することで、この問題を解決できます。