L'analyse Roofline révèle pourquoi ZeRO-3 échoue pour DeepSeek-V3 sur Hopper
La modélisation « speed of light » montre que FSDP crée un goulot d'étranglement de communication sur InfiniBand pour DeepSeek-V3, rendant le parallélisme de pipeline indispensable pour un entraînement efficace.