Nube e infraestructura

Ejecutar 15 millones de servidores web en una sola VM con networking en userland

Un experimento técnico demuestra cómo alojar 15 millones de servidores web en una única VM eludiendo la sobrecarga del kernel mediante smoltcp, DPDK y planificación personalizada.

Ilustración de servidores miniaturizados dentro de un chip informático representando networking de alta densidad
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Un reciente análisis técnico explora los límites del networking de alta densidad al intentar ejecutar 15 millones de servidores web en una sola máquina virtual. El experimento, publicado en noviembre de 2026, se dirige a un entorno restringido de 10GB de RAM y un núcleo de CPU para desafiar las suposiciones tradicionales de infraestructura. Al trasladar las operaciones de la pila de red desde el kernel al espacio de usuario, el autor logra una concurrencia masiva sin un consumo proporcional de recursos.

Qué ocurrió

El proyecto comenzó con un objetivo simple: crear un servidor web único para cada persona en la Tierra. Los intentos iniciales utilizando llamadas al sistema estándar de Linux fracasaron rápidamente. Un servidor básico en C que escuchaba en puertos agotó el rango de puertos disponible, limitado a aproximadamente 65.000 entradas por dirección IP. Incluso después de expandir el rango de puertos locales y utilizar múltiples direcciones IP mediante enrutamiento AnyIP, el proceso chocó contra un muro de memoria duro. Cada socket estándar creado por el kernel consume aproximadamente 3300 bytes de RAM para estructuras internas como tcp_sock y socket_alloc, independientemente de si la conexión está activa o inactiva. Ejecutar millones de estos sockets requeriría terabytes de memoria, superando con creces el presupuesto de 10GB.

Para superar esto, el enfoque cambió de depender de la pila de red del sistema operativo a construir un runtime personalizado en userland. En lugar de generar millones de procesos o hilos, la solución utiliza un solo proceso que aloja millones de contextos ligeros invitados. Este método imita cómo las máquinas virtuales o los entornos de ejecución de lenguajes gestionan el aislamiento, pero elimina toda la sobrecarga no esencial. La clave fue comprender que la mayoría de las conexiones permanecen inactivas, por lo que su estado debe consumir casi cero memoria hasta que lleguen datos reales.

Cómo funciona

La tecnología central depende de eludir completamente el kernel para la E/S de red. Las syscalls estándar como listen y accept son reemplazadas por una pila TCP/IP en espacio de usuario llamada smoltcp. Esta biblioteca está diseñada para sistemas bare-metal y no requiere asignación de heap, lo que la hace ideal para restricciones estrictas de memoria. Para alimentar paquetes a esta pila, el sistema utiliza interfaces de alto rendimiento como DPDK (Data Plane Development Kit) o AF_XDP. Estas herramientas permiten a la aplicación leer tramas Ethernet directamente desde la tarjeta de red, saltándose por completo las capas de red del kernel.

La planificación es gestionada por un micro-kernel personalizado dentro de la aplicación. Cada instancia de servidor web está representada por una estructura de contexto mínima que contiene solo el contador de programa y dos descriptores de archivo, totalizando apenas 16 bytes por invitado. La CPU cambia entre estos invitados rápidamente, reanudando la ejecución solo cuando llega un paquete para una conexión específica. Las conexiones activas consumen alrededor de 5KB de RAM para la gestión de buffers, pero las conexiones inactivas no cuestan nada más allá de su contexto de 16 bytes. Esta arquitectura permite que 15 millones de servidores inactivos quepan cómodamente dentro del límite de memoria, con margen para millones de conexiones activas simultáneas.

Detalles clave

  • Densidad objetivo: 15 millones de servidores web en una sola VM con 10GB de RAM y 1 núcleo de CPU.
  • Sobrecarga del kernel: Los sockets estándar de Linux consumen ~3300 bytes cada uno debido a estructuras como tcp_sock y dentry, lo que los hace inadecuados para escalas masivas.
  • Pila en userland: El proyecto utiliza smoltcp, una pila TCP/IP escrita en Rust sin asignación de heap, para manejar la lógica del protocolo en espacio de usuario.
  • Elusión de E/S: Se usan DPDK y AF_XDP para mover el procesamiento de paquetes fuera del kernel, reduciendo la latencia y los costos de cambio de contexto de CPU.
  • Eficiencia de memoria: Las conexiones inactivas utilizan solo 16 bytes para el almacenamiento de contexto, mientras que las conexiones activas usan aproximadamente 5KB.
  • Direcciones: El enrutamiento AnyIP permite al servidor escuchar en subredes completas, proporcionando suficientes direcciones IP únicas para distinguir millones de servicios.

Por qué importa

Para ingenieros de infraestructura y fundadores técnicos, este experimento destaca los costos ocultos de las abstracciones. La mayoría de los frameworks web modernos asumen abundancia de memoria y dependen fuertemente del kernel del SO para la gestión de conexiones. Aunque conveniente, este modelo se rompe a escalas extremas donde la sobrecarga por conexión se convierte en el cuello de botella principal. Comprender cómo eludir el kernel revela oportunidades para optimizar sistemas de alto rendimiento, como balanceadores de carga, pasarelas API y hubs IoT, donde el número de conexiones supera ampliamente el tráfico activo.

El cambio hacia el networking en userland no es nuevo, con proyectos como Seastar y gVisor allanando el camino, pero esta demostración simplifica el concepto para su aplicación práctica. Muestra que, con una gestión cuidadosa del estado y las herramientas adecuadas, los desarrolladores pueden lograr densidades previamente consideradas imposibles en hardware comercial. Este conocimiento es crucial para construir servicios cloud rentables y comprender los compromisos entre conveniencia y rendimiento en sistemas distribuidos.

Qué puedes hacer

  • Evalúa tu actual pila de red para determinar la sobrecarga de memoria por conexión utilizando herramientas como ss o netstat combinadas con perfiladores de memoria.
  • Experimenta con smoltcp o pilas similares en userland para componentes de alta concurrencia como proxies o brokers de mensajes.
  • Investiga DPDK o AF_XDP si tu aplicación maneja millones de paquetes por segundo y sufre de sobrecarga por interrupciones del kernel.
  • Diseña protocolos que minimicen el estado para conexiones inactivas, permitiendo escalar el número de listeners sin crecimiento lineal de memoria.
  • Usa AnyIP o funciones de enrutamiento similares para expandir el espacio de direcciones disponible sin añadir interfaces de red físicas.
  • Perfiliza los costos de cambio de contexto en aplicaciones multi-hilo y considera modelos de planificación cooperativa para tareas de alta densidad.
  • #networking
  • #linux
  • #performance
  • #rust
  • #infrastructure

Herramientas de la Tienda de Bytechap

Seguir leyendo

Todos los artículos