IA abierta y local

Ejecutar un modelo MoE de 180B con 32GB de RAM usando Transformers

Un desarrollador optimizó Hugging Face Transformers para ejecutar Qwen3.8-Flash-Next en un MacBook M5, logrando velocidades casi nativas al transmitir expertos desde el disco.

Ilustración de la transmisión de datos desde el disco a la memoria en un portátil
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Un ingeniero de software logró ejecutar con éxito el modelo Qwen3.8-Flash-Next de 180 mil millones de parámetros en un MacBook M5 con solo 32GB de memoria unificada. Al modificar la biblioteca Hugging Face Transformers para transmitir los pesos de Mixture of Experts (MoE) directamente desde el disco, la configuración alcanzó velocidades de inferencia comparables a las de motores especializados como Strata. Este experimento demuestra cómo el hardware de consumo puede manejar modelos masivos mediante estrategias agresivas de descarga y caché de pesos.

Qué ocurrió

El autor, Tarek Ziadé, buscaba reducir la dependencia de las APIs en la nube ejecutando modelos de lenguaje grandes localmente. Su estación de trabajo principal, una PC con doble RTX 4090 llamada Orthrus, solía estar ocupada por actividades familiares de gaming, lo que lo llevó a explorar la inferencia local en su portátil de trabajo, un MacBook M5 con 32GB de RAM. Los intentos iniciales utilizando herramientas estándar como llama.app y vLLM revelaron limitaciones significativas al manejar modelos MoE que superaban la memoria disponible. Aunque algunos motores podían descargar pesos a la RAM de la CPU, sufrían penalizaciones de rendimiento debido a cuellos de botella en el ancho de banda PCIe o a la falta de mecanismos de caché eficientes para la activación dispersa de expertos.

Ziadé se centró en optimizar la biblioteca Hugging Face Transformers, que tradicionalmente carga módulos completos en la memoria antes de la ejecución. La descarga estándar en Transformers copia todos los expertos de una capa a la GPU para cada token, independientemente de cuáles seleccione el router. Este enfoque es ineficiente para los modelos MoE, donde solo una pequeña fracción de expertos está activa por token. Para abordar esto, desarrolló un nuevo mecanismo de transmisión que carga solo los expertos requeridos desde el disco hacia una caché limitada en el dispositivo. La implementación resultante, detallada en la pull request #50717, permite a Transformers manejar modelos mucho más grandes que la memoria física tratando el almacenamiento en disco como una extensión de la VRAM.

Cómo funciona

La innovación central implica reemplazar el proceso estándar de carga de módulos con un sistema de caché basado en slots. En lugar de copiar bancos completos de expertos a la GPU, el sistema mantiene un pool de tensores preasignado en el dispositivo. Una tabla de búsqueda mapea IDs específicos de expertos a slots en este pool. Cuando el router del modelo selecciona los expertos activos para un token, el sistema verifica si ya están en la caché. Si no, lee los pesos cuantizados de los expertos desde el disco mediante múltiples hilos de E/S. Esto permite que el kernel grouped_mm existente opere sobre los slots en caché sin modificaciones, evitando la necesidad de implementaciones personalizadas de multiplicación de matrices.

Para reducir aún más la sobrecarga de transferencia de datos, los expertos se cuantizan a 3 bits fuera de línea, reduciendo el conjunto de expertos FP8 de 121GB a 49GB en disco. Las capas densas se cuantizan a 8 bits, ocupando aproximadamente 5.4GB. Una ruta de disco separada maneja la tabla de embeddings n-gram de 51GB, leyendo filas solo cuando es necesario. El sistema también emplea prefetching, donde el router predice los expertos para las siguientes capas mientras la capa actual calcula, ocultando parte de la latencia del disco. Los kernels Metal compilados en tiempo de ejecución manejan operaciones que carecen de rutas rápidas en macOS, como Gated DeltaNet e hiper-conexiones.

Detalles clave

  • El experimento utilizó Qwen3.8-Flash-Next, un modelo MoE de 180B de parámetros con 48 capas y 512 expertos por capa.
  • La inferencia se ejecutó en un MacBook M5 con 32GB de memoria unificada, utilizando aproximadamente 25.4GB en pico durante un prompt de 6K.
  • Los expertos fueron cuantizados a 3 bits, reduciendo la huella en disco de 121GB a 49GB, mientras que las capas densas utilizaron cuantización de 8 bits.
  • La implementación optimizada de Transformers logró 13.9 tokens por segundo en tareas de decodificación cortas, en comparación con 14.8 tok/s de Strata.
  • La velocidad de prefill alcanzó 228 tokens por segundo para un prompt de 4K, superando ligeramente los 220 tok/s de Strata.
  • La solución no requiere extensiones C++, dependiendo de Python, shaders Metal compilados en tiempo de ejecución y kernels precompilados del Hub.

Por qué importa

Para los desarrolladores que construyen aplicaciones de IA, este trabajo destaca el potencial de ejecutar modelos de vanguardia en hardware comercial sin costosos clústeres de GPU. Desafía la suposición de que los modelos MoE grandes requieren motores de inferencia especializados o vastas cantidades de VRAM. Al aprovechar la transmisión desde disco y la caché eficiente, los ingenieros pueden desplegar modelos más grandes localmente para pruebas, depuración o tareas sensibles a la privacidad. El enfoque también proporciona una guía para optimizar cargas de trabajo limitadas por memoria en otros dominios donde se puede explotar la dispersión de datos.

Sin embargo, los resultados también subrayan las limitaciones de los frameworks de propósito general como PyTorch en hardware no NVIDIA. La brecha de rendimiento restante entre Transformers y Strata se debe en gran medida a problemas de sincronización host-GPU y a la incapacidad de superponer completamente el cálculo con la E/S a nivel de kernel. Esto sugiere que, aunque las optimizaciones de software pueden cerrar gran parte de la brecha, se necesita una integración más profunda con características específicas del hardware para lograr la máxima eficiencia. Los desarrolladores deben sopesar la flexibilidad de Transformers frente al rendimiento bruto de los motores dedicados al elegir su stack de inferencia.

Qué puedes hacer

  • Instala la rama experimental de Transformers desde la pull request #50717 para probar la transmisión de expertos en tu propio hardware.
  • Convierte los expertos de los modelos MoE a cuantizaciones de menor número de bits (por ejemplo, 3 bits) para reducir los requisitos de E/S en disco y la huella de la caché.
  • Utiliza una SSD NVMe de alta velocidad para minimizar la latencia al transmitir pesos desde el disco a la memoria del dispositivo.
  • Monitorea el uso de memoria de cerca, ya que el sistema opera cerca de los límites de la RAM disponible, requiriendo cerrar aplicaciones en segundo plano.
  • Experimenta con estrategias de prefetching para ocultar la latencia de lectura del disco durante el cálculo multicapa.
  • Revisa el Space moe-expert-streaming para ver ejemplos de código y detalles de benchmarks para adaptar el enfoque a otras arquitecturas MoE.
  • #moe
  • #transformers
  • #local-llm
  • #optimization
  • #macos

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo

Seguir leyendo

Todos los artículos