Roofline-Analyse zeigt, warum ZeRO-3 für DeepSeek-V3 auf Hopper scheitert
Das Speed-of-Light-Modell zeigt, dass FSDP bei DeepSeek-V3 über InfiniBand einen Kommunikationsengpass erzeugt und Pipeline-Parallelismus die notwendige Wahl für effizientes Training ist.