Exécution de LLM à mille milliards de paramètres sur des clusters Mac Studio avec MLX

Apple Machine Learning Research a publié une analyse technique approfondie montrant comment exécuter localement des grands modèles de langage de pointe sur Apple Silicon. Publié le 15 octobre 2026, le rapport détaille comment le framework open-source MLX exploite la mémoire unifiée et les nouveaux pilotes réseau pour gérer des modèles comptant près d'un billion de paramètres.

L'équipe a réussi à exécuter le modèle Muse Spark Open, qui contient 816 milliards de paramètres, sur un cluster de quatre ordinateurs Mac Studio. En utilisant des stratégies de parallélisation de pipeline et de tensor via des connexions Thunderbolt, ils ont atteint des vitesses de génération dépassant le rythme de lecture humain tout en maintenant une faible consommation d'énergie.

Ce qui s'est passé

La recherche se concentre sur les capacités de la puce M5 Ultra nouvellement lancée et de la dernière version du framework de tableaux MLX. Les travaux précédents avaient mis en évidence les accélérateurs neuronaux GPU dans l'architecture M5, mais ce billet démontre les performances pratiques d'inférence pour des modèles massifs. Les auteurs ont évalué trois modèles spécifiques : Muse Spark Open (816B de paramètres), Mistral Medium 3.5 (128B de paramètres) et Qwen 3.8 (27B de paramètres).

Sur un seul Mac Studio doté de 512 Go de mémoire unifiée, les plus petits modèles denses s'intègrent confortablement. Cependant, Muse Spark Open nécessite beaucoup plus de mémoire. Même en précision NVFP4 4 bits, l'empreinte du modèle est d'environ 493 Go, laissant peu de place aux calculs intermédiaires. Pour résoudre ce problème, les chercheurs ont réparti la charge de travail sur plusieurs machines en utilisant l'accès direct à la mémoire distante (RDMA) via Thunderbolt 5, une fonctionnalité introduite dans macOS 26.2.

Les benchmarks ont mesuré le temps jusqu'au premier token (TTFT), le débit de génération et la consommation électrique maximale. Pour le plus grand modèle, l'équipe a utilisé un cluster de quatre Mac Studios connectés par câbles Thunderbolt. Cette configuration leur a permis de diviser les couches ou les poids du modèle entre les appareils, rendant possible une inférence autrement impossible sur du matériel de bureau.

Comment cela fonctionne

MLX utilise deux stratégies principales pour répartir les grands modèles sur plusieurs ordinateurs : le parallélisme de pipeline et le parallélisme de tensor. Le parallélisme de pipeline divise le modèle par profondeur, ce qui signifie qu'une machine gère la première moitié des couches du réseau neuronal et envoie la sortie à la seconde machine pour les couches restantes. Cette approche est simple à mettre en œuvre et engendre une faible surcharge de communication car seuls les résultats intermédiaires sont échangés entre les nœuds.

Le parallélisme de tensor divise le modèle par largeur, répartissant des fractions de chaque couche sur toutes les machines. Cette méthode permet un plus grand parallélisme de calcul mais nécessite des communications fréquentes pour chaque token et chaque couche. Pour rendre cela viable, MLX s'appuie sur jaccl, un ensemble de collectifs de communication construit au-dessus du pilote RDMA-over-Thunderbolt à faible latence. Cela garantit que les échanges de données petits et fréquents requis par le parallélisme de tensor ne deviennent pas un goulot d'étranglement.

La puce M5 Ultra joue un rôle critique dans cette architecture. Ses accélérateurs neuronaux GPU fournissent un matériel dédié pour la multiplication matricielle, ce qui accélère les tâches limitées par le calcul comme la détermination du temps jusqu'au premier token. De plus, le M5 Ultra offre 1,2 To/s de bande passante de mémoire unifiée, une augmentation significative par rapport aux 819 Go/s disponibles sur le précédent M3 Ultra. Cette bande passante améliore directement la vitesse de génération, qui est limitée par la mémoire.

Détails clés

• Muse Spark Open est un modèle mixture of experts de 816 milliards de paramètres évalué en précision NVFP4, avec seulement 42 milliards de paramètres actifs lors de l'inférence.
• Un cluster de quatre Mac Studios équipés de puces M5 Ultra a atteint plus de 36 tokens par seconde pour Muse Spark Open avec une taille de contexte de 8 192 tokens.
• Le M5 Ultra offre un temps jusqu'au premier token jusqu'à 4,6 fois plus rapide que le M3 Ultra pour les charges de travail limitées par le calcul grâce aux accélérateurs neuronaux GPU.
• La consommation électrique maximale pour l'inférence LLM sur un Mac Studio avec M5 Ultra est d'environ 300 watts, nettement inférieure à celle de nombreuses alternatives de niveau serveur.
• MLX v0.30.1 et versions ultérieures prennent en charge jaccl pour RDMA over Thunderbolt, permettant une communication à faible latence entre les unités Mac Studio.
• Le parallélisme de pipeline peut être jusqu'à 1,8 fois plus rapide qu'un seul nœud pour le préremplissage de très grands contextes (65 536 tokens) en chevauchant les blocs de calcul entre les machines.

Pourquoi c'est important

Pour les ingénieurs logiciels et les chercheurs en IA, ce développement abaisse la barrière à l'expérimentation avec des modèles de pointe. Exécuter un modèle de 816 milliards de paramètres localement signifie que les données ne quittent jamais l'environnement privé, répondant aux préoccupations majeures de confidentialité et de sécurité associées aux API cloud. Cela permet également une itération rapide sur les méthodes de fine-tuning et d'inférence sans attendre l'allocation de ressources cloud ni gérer les coûts de transfert de données sortantes.

L'efficacité d'Apple Silicon change également l'économie de l'infrastructure IA locale. Avec une consommation électrique maximale autour de 300 watts, un Mac Studio peut fonctionner dans des environnements de bureau ou domestiques standard sans infrastructure de refroidissement ou d'alimentation spécialisée. Cela rend faisable pour les petites équipes ou les développeurs individuels de maintenir des clusters d'inférence haute performance à la fois puissants et écoénergétiques.

De plus, la prise en charge de grandes fenêtres de contexte est cruciale pour les workflows agentiques. Les assistants de codage et les agents de raisonnement complexes nécessitent souvent des tailles de contexte de 65 536 tokens ou plus. La capacité de traiter ces grands contextes rapidement sur du matériel local permet des agents autonomes plus sophistiqués capables de comprendre des bases de code entières ou des documents longs en temps réel.

Ce que vous pouvez faire

• Installez la dernière version de MLX (v0.30.1 ou ultérieure) pour accéder au support de RDMA over Thunderbolt et au backend jaccl.
• Utilisez l'outil mlx_lm.benchmark pour mesurer le temps jusqu'au premier token et le débit pour vos modèles et tailles de contexte spécifiques.
• Connectez plusieurs unités Mac Studio avec deux câbles Thunderbolt par paire pour doubler la bande passante du lien pour l'inférence distribuée.
• Expérimentez avec le parallélisme de pipeline pour une configuration plus simple et une faible surcharge de communication lors de la division des modèles sur deux machines.
• Utilisez le parallélisme de tensor sur quatre machines pour un parallélisme de calcul maximal, en veillant à configurer correctement la maille Thunderbolt.
• Activez la variable d'environnement MLX_METAL_FAST_SYNCH=1 pour réduire la surcharge de communication entre CPU et GPU lors des jobs distribués.