“vllm” の検索結果

Cloud TPUでのvLLMを用いた長文コンテキスト埋め込み推論の最適化

Googleは、vLLMにおけるネイティブTPUサポートがQwen3モデル向けに弾力的なスケーリングと高精度な埋め込み推論をどのように可能にするかについて詳述しています。