IA ouverte et locale

Exécuter un modèle MoE de 180 Md de paramètres avec 32 Go de RAM grâce à Transformers

Un développeur a optimisé Hugging Face Transformers pour exécuter Qwen3.8-Flash-Next sur un MacBook M5, atteignant des vitesses quasi natives en diffusant les experts depuis le disque.

Illustration de la diffusion de données depuis le disque vers la mémoire sur un ordinateur portable
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Un ingénieur logiciel est parvenu à faire tourner le modèle Qwen3.8-Flash-Next, fort de 180 milliards de paramètres, sur un MacBook M5 doté de seulement 32 Go de mémoire unifiée. En modifiant la bibliothèque Hugging Face Transformers pour diffuser directement depuis le disque les poids du mélange d'experts (MoE), cette configuration a atteint des vitesses d'inférence comparables à celles de moteurs spécialisés comme Strata. Cette expérience démontre comment le matériel grand public peut gérer des modèles massifs grâce à des stratégies agressives de déchargement et de mise en cache des poids.

Ce qui s'est passé

L'auteur, Tarek Ziadé, cherchait à réduire sa dépendance aux API cloud en exécutant localement de grands modèles de langage. Son poste de travail principal, un PC équipé de deux RTX 4090 nommé Orthrus, étant souvent occupé par des activités ludiques familiales, il a décidé d'explorer l'inférence locale sur son ordinateur portable professionnel, un MacBook M5 disposant de 32 Go de RAM. Les premières tentatives utilisant des outils standards tels que llama.app et vLLM ont révélé des limitations significatives lors de la gestion de modèles MoE dépassant la mémoire disponible. Bien que certains moteurs puissent décharger les poids vers la RAM du CPU, ils souffraient de pénalités de performance dues aux goulots d'étranglement de la bande passante PCIe ou à l'absence de mécanismes de mise en cache efficaces pour l'activation sparse des experts.

Ziadé s'est concentré sur l'optimisation de la bibliothèque Hugging Face Transformers, qui charge traditionnellement des modules entiers en mémoire avant leur exécution. Le déchargement standard dans Transformers copie tous les experts d'une couche vers le GPU pour chaque token, indépendamment de ceux sélectionnés par le routeur. Cette approche est inefficace pour les modèles MoE, où seule une petite fraction des experts est active par token. Pour remédier à cela, il a développé un nouveau mécanisme de diffusion qui charge uniquement les experts requis depuis le disque vers un cache borné sur le périphérique. L'implémentation résultante, détaillée dans la pull request #50717, permet à Transformers de gérer des modèles bien plus vastes que la mémoire physique en traitant le stockage disque comme une extension de la VRAM.

Comment cela fonctionne

L'innovation centrale consiste à remplacer le processus standard de chargement des modules par un système de cache basé sur des emplacements (slots). Au lieu de copier des banques d'experts entières vers le GPU, le système maintient un pool de tenseurs préalloué sur le périphérique. Une table de recherche associe des ID d'experts spécifiques à des emplacements dans ce pool. Lorsque le routeur du modèle sélectionne les experts actifs pour un token, le système vérifie s'ils sont déjà présents dans le cache. Dans la négative, il lit les poids quantifiés des experts depuis le disque via plusieurs threads d'E/S. Cela permet au noyau grouped_mm existant d'opérer sur les emplacements mis en cache sans modification, évitant ainsi le besoin d'implémentations personnalisées de multiplication matricielle.

Pour réduire davantage la surcharge liée au transfert de données, les experts sont quantifiés hors ligne sur 3 bits, réduisant l'ensemble des experts FP8 de 121 Go à 49 Go sur le disque. Les couches denses sont quantifiées sur 8 bits, occupant environ 5,4 Go. Un chemin disque distinct gère la table d'embeddings n-gramme de 51 Go, ne lisant les lignes que lorsque nécessaire. Le système utilise également le prefetching, où le routeur prédit les experts pour les couches suivantes pendant que la couche actuelle calcule, masquant ainsi une partie de la latence disque. Des noyaux Metal compilés à l'exécution prennent en charge les opérations dépourvues de chemins rapides sur macOS, telles que Gated DeltaNet et les hyper-connexions.

Détails clés

  • L'expérience a utilisé Qwen3.8-Flash-Next, un modèle MoE de 180 Md de paramètres comportant 48 couches et 512 experts par couche.
  • L'inférence s'est déroulée sur un MacBook M5 avec 32 Go de mémoire unifiée, utilisant environ 25,4 Go au pic lors d'un prompt de 6K tokens.
  • Les experts ont été quantifiés sur 3 bits, réduisant l'empreinte disque de 121 Go à 49 Go, tandis que les couches denses utilisaient une quantification sur 8 bits.
  • L'implémentation optimisée de Transformers a atteint 13,9 tokens par seconde sur des tâches de décodage courtes, contre 14,8 tok/s pour Strata.
  • La vitesse de prefill a atteint 228 tokens par seconde pour un prompt de 4K, surpassant légèrement les 220 tok/s de Strata.
  • La solution ne nécessite aucune extension C++, reposant sur Python, des shaders Metal compilés à l'exécution et des noyaux précompilés disponibles sur le Hub.

Pourquoi c'est important

Pour les développeurs créant des applications IA, ces travaux mettent en évidence le potentiel d'exécution de modèles à la pointe de la technologie sur du matériel standard, sans recourir à des clusters GPU coûteux. Ils remettent en question l'hypothèse selon laquelle les grands modèles MoE exigent des moteurs d'inférence spécialisés ou d'énormes quantités de VRAM. En exploitant la diffusion depuis le disque et une mise en cache efficace, les ingénieurs peuvent déployer localement des modèles plus vastes pour le test, le débogage ou les tâches sensibles à la confidentialité. Cette approche fournit également un plan directeur pour l'optimisation des charges de travail limitées par la mémoire dans d'autres domaines où la sparsité des données peut être exploitée.

Cependant, les résultats soulignent également les limites des frameworks généralistes comme PyTorch sur du matériel non-NVIDIA. L'écart de performance restant entre Transformers et Strata provient principalement des problèmes de synchronisation hôte-GPU et de l'impossibilité de chevaucher complètement le calcul et les E/S au niveau du noyau. Cela suggère que si les optimisations logicielles peuvent combler une grande partie du fossé, une intégration plus profonde avec les fonctionnalités spécifiques au matériel est nécessaire pour une efficacité maximale. Les développeurs doivent peser la flexibilité de Transformers face à la performance brute des moteurs dédiés lorsqu'ils choisissent leur pile d'inférence.

Ce que vous pouvez faire

  • Installez la branche expérimentale de Transformers issue de la pull request #50717 pour tester la diffusion d'experts sur votre propre matériel.
  • Convertissez les experts des modèles MoE en quantifications à faible nombre de bits (par exemple, 3 bits) pour réduire les exigences d'E/S disque et l'empreinte du cache.
  • Utilisez un SSD NVMe haute vitesse pour minimiser la latence lors de la diffusion des poids depuis le disque vers la mémoire du périphérique.
  • Surveillez attentivement l'utilisation de la mémoire, car le système fonctionne près des limites de la RAM disponible, nécessitant la fermeture des applications en arrière-plan.
  • Expérimentez avec des stratégies de prefetching pour masquer la latence de lecture disque durant le calcul multi-couches.
  • Consultez l'espace moe-expert-streaming pour obtenir des exemples de code et des détails sur les benchmarks afin d'adapter cette approche à d'autres architectures MoE.
  • #moe
  • #transformers
  • #local-llm
  • #optimization
  • #macos

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles