Exécuter des LLM de 16B avec 1 Go de RAM grâce à des patches personnalisés pour llama.cpp
Le projet smolmaxxing démontre comment exécuter de grands modèles à mélange d'experts sur des appareils disposant de seulement 1 Go de RAM utilisable en diffusant les poids depuis le stockage flash.
Traduit automatiquement depuis l'original anglais.
Un nouveau projet open-source nommé smolmaxxing prouve que les grands modèles de langage modernes peuvent fonctionner sur du matériel auparavant considéré comme obsolète. En appliquant des patches spécialisés au moteur d'inférence llama.cpp, les développeurs ont réussi à exécuter des modèles de 16 milliards de paramètres sur un boîtier TV Xiaomi et un iPad Air de 2013. Le projet, publié sur GitHub en novembre 2026, repose sur une gestion agressive de la mémoire et des noyaux personnalisés pour contourner les limitations matérielles standard.
Ce qui s'est passé
Le dépôt smolmaxxing documente des expériences consistant à exécuter de grands modèles à mélange d'experts (MoE) sur des appareils dotés d'une mémoire vive (RAM) à accès aléatoire sévèrement contrainte. Les principaux sujets de test étaient un Xiaomi TV Box S (3e génération) avec environ 1 Go de RAM utilisable et un Apple iPad Air (2013) avec environ 700 Mo de RAM utilisable. Malgré ces contraintes étroites, le projet a atteint des vitesses d'inférence fonctionnelles pour des modèles bien plus volumineux que la mémoire disponible.
Sur le boîtier TV basé sur Android, le système a exécuté le modèle Ling-mini-2.0 16B à 5,1 jetons par seconde. La tablette iOS plus ancienne a géré le même modèle à des vitesses comprises entre 2,6 et 4,5 jetons par seconde. Pour les tâches quotidiennes plus légères, le boîtier TV a traité Qwen3.5-2B à 7,7 jetons par seconde, tandis que l'iPad a exécuté un modèle Bonsai-1.7B quantifié sur 1 bit à 24 ou 26 jetons par seconde. Chaque métrique de performance a été mesurée directement sur les appareils physiques, sans simulation.
Le projet souligne que ces résultats ne sont pas des anomalies isolées mais le fruit de techniques d'ingénierie reproductibles. Les auteurs notent que les méthodes s'appliquent à tout appareil Linux ou Android où la taille du modèle dépasse la RAM disponible, à condition que le support de stockage soit assez rapide pour diffuser les données. Les extensions futures visent à inclure les smartphones, les ordinateurs monocartes et les routeurs.
Comment cela fonctionne
L'innovation centrale réside dans un ensemble de patches appliqués à llama.cpp, une bibliothèque C++ populaire pour exécuter des LLM localement. Les moteurs d'inférence standards nécessitent généralement que l'intégralité du modèle, ou au moins tous les paramètres actifs, résident dans la RAM. Smolmaxxing brise cette exigence en traitant le stockage flash comme une extension de la mémoire. Puisque les modèles MoE n'activent qu'un petit sous-ensemble d'« experts » pour chaque jeton, le système conserve les experts fréquemment utilisés dans la RAM et diffuse le reste depuis le stockage flash à la demande. Il précharge également les experts de la couche suivante pour minimiser la latence.
Pour rendre ce streaming viable sur des CPU faibles, le projet introduit des noyaux personnalisés adaptés aux architectures de puces spécifiques. Pour le processeur Cortex-A55 du boîtier TV, les ingénieurs ont implémenté un noyau à table de recherche sur 1 bit et remballé les formats sur 2 bits et ternaires. La puce Apple A7 de l'iPad manque d'instructions de produit scalaire, l'équipe a donc développé des versions alternatives de ces noyaux qui reposent uniquement sur les instructions NEON de base. Ces optimisations réduisent la charge de calcul par opération, permettant aux processeurs plus lents de suivre le flux de données depuis le stockage.
Les économies de mémoire sont encore renforcées par l'élagage du vocabulaire du modèle. Comme la plupart des mots d'un vocabulaire standard sont rarement utilisés lors de l'inférence, le projet supprime les lignes de sortie inutilisées pour libérer de la RAM. Sur le boîtier TV, un mode « headless » désactive le launcher Android et les services Google en arrière-plan pendant l'inférence, garantissant que chaque mégaoctet de RAM disponible est dédié au modèle. Cette combinaison de chargement sélectif, de code bas niveau personnalisé et de suppression des ressources au niveau système permet aux modèles 8B et 16B de fonctionner dans un budget mémoire de 1 Go.
Détails clés
- Matériel testé : Xiaomi TV Box S (3e Gen) avec puce Amlogic S7D et iPad Air (2013) avec puce Apple A7.
- Contraintes mémoire : Les deux appareils fonctionnaient avec environ 1 Go ou moins de RAM utilisable.
- Performance maximale : Le modèle Ling-mini-2.0 16B tournait à 5,1 tok/s sur le boîtier TV et jusqu'à 4,5 tok/s sur l'iPad.
- Technique principale : Les modèles à mélange d'experts sont paginés depuis le stockage flash, ne gardant que les experts actifs dans la RAM.
- Base logicielle : Toutes les modifications sont des patches appliqués au moteur d'inférence llama.cpp ; llama.cpp standard ne peut pas charger ces modèles.
- Disponibilité : Des fichiers de modèles prêts à l'emploi sont hébergés sur Hugging Face, avec des guides d'installation pour Android ARMv8.2 et iOS 12 jailbreaké.
Pourquoi c'est important
Pour les ingénieurs logiciels et les praticiens de l'IA, ce projet remet en question l'hypothèse selon laquelle l'inférence locale de LLM nécessite des GPU haut de gamme ou une RAM substantielle. Il démontre qu'une programmation système minutieuse peut libérer des capacités significatives à partir d'électronique grand public inactive. Les boîtiers TV, les vieilles tablettes et les routeurs restent souvent inutilisés, pourtant ils possèdent des CPU et du stockage flash capables de gérer des charges de travail IA significatives si la pile logicielle est correctement optimisée. Cela ouvre des voies pour le déploiement de l'IA en périphérie dans des environnements où la puissance, le coût ou l'espace interdisent les serveurs traditionnels.
Les techniques mettent également en évidence l'importance de l'optimisation spécifique à l'architecture. La quantification généraliste est souvent insuffisante pour les cas extrêmes en périphérie. En écrivant des noyaux personnalisés exploitant des jeux d'instructions spécifiques comme NEON, les développeurs peuvent extraire des performances que les bibliothèques génériques manquent. Cette approche est particulièrement pertinente pour les modèles à mélange d'experts, intrinsèquement adaptés aux stratégies de pagination en raison de leurs motifs d'activation épars. À mesure que les modèles deviennent plus grands, une gestion efficace de la mémoire deviendra aussi critique que la puissance de calcul brute.
Ce que vous pouvez faire
- Téléchargez les binaires llama.cpp patchés et les fichiers de modèles prêts à l'emploi depuis le dépôt Hugging Face de smolmaxxing.
- Testez la configuration sur un appareil Android ARMv8.2 en utilisant le guide dans
docs/tv-box-setup.md. - Expérimentez avec un iPad jailbreaké sous iOS 12.5.7 en utilisant les scripts fournis dans le répertoire
ipad-air/. - Consultez
docs/how-it-works.mdpour comprendre les gains spécifiques apportés par chaque technique de noyau et d'optimisation mémoire. - Reconstruisez des modèles pour votre propre matériel en utilisant les outils du répertoire
tools/, en suivant les instructions dansdocs/models.md. - Lisez
EXPERIMENT.mdpour analyser les 160 expériences et échecs documentés par les auteurs, ce qui vous aidera à éviter les pièges courants.



