Le transfert KV en mode push de vLLM réduit la latence dans l'inférence désagrégée
Un nouveau connecteur en mode push pour vLLM réduit le temps jusqu'au premier jeton (TTFT) d'un facteur 3 dans les configurations d'inférence désagrégée préfill-decode sur AWS.














