Optimización de la inferencia MoE en GPUs NVIDIA Hopper mediante ingeniería de kernels
Ingenieros de AWS detallan tres optimizaciones de kernel para modelos Mixture-of-Experts en GPUs Hopper, mejorando el rendimiento en un 10 % y reduciendo la latencia en un 9 %.














