Phân tích Roofline chỉ ra lý do ZeRO-3 thất bại với DeepSeek-V3 trên nền tảng Hopper
Mô hình hóa giới hạn tốc độ ánh sáng (speed of light) cho thấy FSDP tạo ra nút thắt cổ chai giao tiếp qua InfiniBand đối với DeepSeek-V3, khiến song song hóa theo pipeline trở thành lựa chọn bắt buộc để huấn luyện hiệu quả.