“roofline analysis” の検索結果

Roofline分析が明らかにする、Hopper上でDeepSeek-V3のZeRO-3が失敗する理由

光速モデリングにより、FSDPはDeepSeek-V3においてInfiniBand上に通信ボトルネックを発生させることが示されました。効率的な学習にはパイプライン並列化が不可欠な選択肢となります。