Exécuter 15 millions de serveurs web sur une seule VM grâce au networking en userland
Une expérience technique démontre comment héberger 15 millions de serveurs web sur une seule VM en contournant la surcharge du noyau grâce à smoltcp, DPDK et une planification personnalisée.
Traduit automatiquement depuis l'original anglais.
Une récente analyse technique approfondie explore les limites du networking haute densité en tentant d'exécuter 15 millions de serveurs web sur une seule machine virtuelle. L'expérience, publiée en novembre 2026, cible un environnement contraint disposant de 10 Go de RAM et d'un seul cœur CPU pour défier les hypothèses traditionnelles en matière d'infrastructure. En déplaçant les opérations de la pile réseau du noyau vers l'espace utilisateur, l'auteur parvient à atteindre une concurrence massive sans consommation proportionnelle des ressources.
Ce qui s'est passé
Le projet a commencé avec un objectif simple : créer un serveur web unique pour chaque personne sur Terre. Les premières tentatives utilisant les appels système Linux standards ont échoué rapidement. Un serveur C basique écoutant sur des ports a épuisé la plage de ports disponible, limitée à environ 65 000 entrées par adresse IP. Même après avoir étendu la plage de ports locaux et utilisé plusieurs adresses IP via le routage AnyIP, le processus a heurté un mur mémoire infranchissable. Chaque socket standard créé par le noyau consomme environ 3300 octets de RAM pour des structures internes comme tcp_sock et socket_alloc, que la connexion soit active ou inactive. Exécuter des millions de ces sockets nécessiterait des téraoctets de mémoire, dépassant largement le budget de 10 Go.
Pour surmonter cet obstacle, l'approche est passée de la dépendance à la pile réseau du système d'exploitation à la construction d'un runtime personnalisé en espace utilisateur. Au lieu de lancer des millions de processus ou de threads, la solution utilise un seul processus hébergeant des millions de contextes invités légers. Cette méthode imite la façon dont les machines virtuelles ou les runtimes de langage gèrent l'isolation, mais supprime toutes les charges inutiles. L'idée clé était que la plupart des connexions restent inactives, leur état ne devrait donc consommer presque aucune mémoire tant que des données n'arrivent pas réellement.
Comment cela fonctionne
La technologie centrale repose sur le contournement complet du noyau pour les E/S réseau. Les appels système standards comme listen et accept sont remplacés par une pile TCP/IP en espace utilisateur appelée smoltcp. Cette bibliothèque est conçue pour les systèmes bare-metal et ne nécessite aucune allocation de tas, ce qui la rend idéale pour les contraintes mémoire strictes. Pour alimenter cette pile en paquets, le système utilise des interfaces hautes performances comme DPDK (Data Plane Development Kit) ou AF_XDP. Ces outils permettent à l'application de lire directement les trames Ethernet depuis la carte réseau, en sautant complètement les couches réseau du noyau.
La planification est gérée par un micro-noyau personnalisé au sein de l'application. Chaque instance de serveur web est représentée par une structure de contexte minimale contenant uniquement le compteur de programme et deux descripteurs de fichiers, totalisant seulement 16 octets par invité. Le CPU bascule rapidement entre ces invités, reprenant l'exécution uniquement lorsqu'un paquet arrive pour une connexion spécifique. Les connexions actives consomment environ 5 Ko de RAM pour la gestion des tampons, mais les connexions inactives ne coûtent rien au-delà de leur contexte de 16 octets. Cette architecture permet à 15 millions de serveurs inactifs de tenir confortablement dans la limite de mémoire, avec de la marge pour des millions de connexions simultanées actives.
Détails clés
- Densité cible : 15 millions de serveurs web sur une seule VM avec 10 Go de RAM et 1 cœur CPU.
- Surcharge du noyau : Les sockets Linux standards consomment ~3300 octets chacun en raison de structures comme
tcp_socketdentry, les rendant inadaptées à une mise à l'échelle massive. - Pile en espace utilisateur : Le projet utilise
smoltcp, une pile TCP/IP écrite en Rust sans allocation de tas, pour gérer la logique du protocole dans l'espace utilisateur. - Contournement des E/S : DPDK et AF_XDP sont utilisés pour déplacer le traitement des paquets hors du noyau, réduisant la latence et les coûts de changement de contexte CPU.
- Efficacité mémoire : Les connexions inactives utilisent seulement 16 octets pour le stockage du contexte, tandis que les connexions actives utilisent environ 5 Ko.
- Adressage : Le routage AnyIP permet au serveur d'écouter sur des sous-réseaux entiers, fournissant suffisamment d'adresses IP uniques pour distinguer des millions de services.
Pourquoi c'est important
Pour les ingénieurs d'infrastructure et les fondateurs techniques, cette expérience met en lumière les coûts cachés des abstractions. La plupart des frameworks web modernes supposent une mémoire abondante et dépendent fortement du noyau OS pour la gestion des connexions. Bien que pratique, ce modèle se brise à des échelles extrêmes où la surcharge par connexion devient le goulot d'étranglement principal. Comprendre comment contourner le noyau révèle des opportunités pour optimiser les systèmes à haut débit, tels que les équilibreurs de charge, les passerelles API et les hubs IoT, où le nombre de connexions dépasse largement le trafic actif.
Le passage vers le networking en espace utilisateur n'est pas nouveau, avec des projets comme Seastar et gVisor ouvrant la voie, mais cette démonstration simplifie le concept pour une application pratique. Elle montre qu'avec une gestion minutieuse de l'état et les bons outils, les développeurs peuvent atteindre des densités auparavant jugées impossibles sur du matériel standard. Cette connaissance est cruciale pour construire des services cloud rentables et comprendre les compromis entre commodité et performance dans les systèmes distribués.
Ce que vous pouvez faire
- Évaluez votre pile réseau actuelle pour mesurer la surcharge mémoire par connexion à l'aide d'outils comme
ssounetstatcombinés à des profileurs de mémoire. - Expérimentez avec
smoltcpou des piles similaires en espace utilisateur pour les composants à haute concurrence comme les proxys ou les courtiers de messages. - Étudiez DPDK ou AF_XDP si votre application traite des millions de paquets par seconde et souffre de la surcharge des interruptions du noyau.
- Concevez des protocoles qui minimisent l'état pour les connexions inactives, permettant d'augmenter le nombre d'écouteurs sans croissance linéaire de la mémoire.
- Utilisez AnyIP ou des fonctionnalités de routage similaires pour étendre l'espace d'adressage disponible sans ajouter d'interfaces réseau physiques.
- Profilez les coûts de changement de contexte dans les applications multi-threadées et envisagez des modèles de planification coopérative pour les tâches à haute densité.


