トピック · 75 記事

クラウドとインフラ

Kubernetes、GPU、DevOps、オブザーバビリティ、本番環境の安定運用。

クラウドとインフラ

FlameサービングのチューニングでスタンドアロンvLLMのスループットに匹敵する性能を実現

ベンチマークテストにより、プレフィックスアフィニティとバッチ受け入れを最適化することで、vLLMを組み込んだ調整済みFlameサービスが短いバースト負荷においてスタンドアロンvLLMのスループットの1%以内の差まで迫ることが示されました。

クラウドとインフラ

AIワークロードでKubernetesの自動スケーリングが失敗する理由と、DRAによる解決策

Kubernetesの自動スケーリングはGPUトポロジー要件との不一致が生じやすく、高価なハードウェアを遊休状態に陥れることがあります。Dynamic Resource Allocation(DRA)は、スケジューリングとプロビジョニングの間のギャップを埋めます。

クラウドとインフラ

Kubernetes コントロールプレーンのスケーリングを制限する3つの異なるボトルネック

Kubernetes クラスターの大規模化における失敗は、単なるノード数の多さではなく、ノードのチャーン(頻繁な作成・削除)、オブジェクトの状態、書き込み強度に起因します。新しいアーキテクチャ上の「シーム」により、各ボトルネックに対して的確な対策が可能になります。