El análisis roofline revela por qué ZeRO-3 falla con DeepSeek-V3 en Hopper
El modelado de la velocidad de la luz muestra que FSDP crea un cuello de botella de comunicación en InfiniBand para DeepSeek-V3, lo que hace que el paralelismo de pipeline sea la elección necesaria para un entrenamiento eficiente.