Betrieb von 15 Millionen Webservern auf einer einzigen VM mit Userland-Networking
Ein technisches Experiment zeigt, wie man 15 Millionen Webserver auf einer einzigen virtuellen Maschine hostet, indem der Kernel-Overhead durch smoltcp, DPDK und ein eigenes Scheduling umgangen wird.
Automatisch aus dem englischen Original übersetzt.
Ein kürzlich veröffentlichter technischer Deep Dive erkundet die Grenzen des High-Density-Networkings, indem versucht wird, 15 Millionen Webserver auf einer einzigen virtuellen Maschine zu betreiben. Das im November 2026 publizierte Experiment zielt auf eine eingeschränkte Umgebung mit 10 GB RAM und einem CPU-Kern ab, um traditionelle Infrastrukturannahmen herauszufordern. Durch das Auslagern von Netzwerkstack-Operationen aus dem Kernel in den User-Space erreicht der Autor massive Parallelität ohne proportionalen Ressourcenverbrauch.
Was passiert ist
Das Projekt begann mit einem einfachen Ziel: einen einzigartigen Webserver für jeden Menschen auf der Erde zu erstellen. Erste Versuche mit Standard-Linux-Systemaufrufen scheiterten schnell. Ein einfacher C-Server, der auf Ports lauschte, erschöpfte den verfügbaren Port-Bereich, der pro IP-Adresse auf etwa 65.000 Einträge begrenzt ist. Selbst nach der Erweiterung des lokalen Port-Bereichs und der Nutzung mehrerer IP-Adressen über AnyIP-Routing stieß der Prozess an eine harte Speichermauer. Jeder vom Kernel erstellte Standard-Socket verbraucht ungefähr 3300 Bytes RAM für interne Strukturen wie tcp_sock und socket_alloc, unabhängig davon, ob die Verbindung aktiv oder im Leerlauf ist. Der Betrieb von Millionen solcher Sockets würde Terabytes an Speicher erfordern, was das Budget von 10 GB weit überschreitet.
Um dies zu überwinden, wechselte der Ansatz von der Abhängigkeit vom Netzwerkstack des Betriebssystems hin zum Aufbau einer eigenen Userland-Runtime. Anstatt Millionen von Prozessen oder Threads zu starten, nutzt die Lösung einen einzelnen Prozess, der Millionen von leichtgewichtigen Gast-Kontexten hostet. Diese Methode ahmt nach, wie virtuelle Maschinen oder Sprach-Runtimes Isolation verwalten, eliminiert aber jeglichen nicht wesentlichen Overhead. Die zentrale Erkenntnis war, dass die meisten Verbindungen im Leerlauf bleiben, ihr Zustand daher nahezu null Speicher verbrauchen sollte, bis tatsächlich Daten eintreffen.
Wie es funktioniert
Die Kerntechnologie basiert darauf, den Kernel bei Netzwerk-I/O vollständig zu umgehen. Standard-Syscalls wie listen und accept werden durch einen User-Space-TCP/IP-Stack namens smoltcp ersetzt. Diese Bibliothek ist für Bare-Metal-Systeme konzipiert und erfordert keine Heap-Allokation, was sie ideal für enge Speicherbeschränkungen macht. Um Pakete in diesen Stack einzuspeisen, nutzt das System Hochleistungs-Schnittstellen wie DPDK (Data Plane Development Kit) oder AF_XDP. Diese Tools ermöglichen es der Anwendung, Ethernet-Frames direkt von der Netzwerkkarte zu lesen und die Netzwerklayer des Kernels komplett zu überspringen.
Das Scheduling wird von einem eigenen Micro-Kernel innerhalb der Anwendung übernommen. Jede Webserver-Instanz wird durch eine minimale Kontextstruktur repräsentiert, die nur den Programmzähler und zwei Dateideskriptoren enthält, insgesamt also nur 16 Bytes pro Gast. Die CPU wechselt schnell zwischen diesen Gästen hin und her und setzt die Ausführung nur fort, wenn ein Paket für eine spezifische Verbindung eintrifft. Aktive Verbindungen verbrauchen etwa 5 KB RAM für das Buffer-Management, während Leerlaufverbindungen nichts außer ihrem 16-Byte-Kontext kosten. Diese Architektur ermöglicht es, 15 Millionen Server im Leerlauf komfortabel innerhalb des Speicherlimits unterzubringen, mit Spielraum für Millionen gleichzeitiger aktiver Verbindungen.
Wichtige Details
- Zieldichte: 15 Millionen Webserver auf einer einzelnen VM mit 10 GB RAM und 1 CPU-Kern.
- Kernel-Overhead: Standard-Linux-Sockets verbrauchen jeweils ~3300 Bytes aufgrund von Strukturen wie
tcp_sockunddentry, was sie für massive Skalierung ungeeignet macht. - Userland-Stack: Das Projekt nutzt
smoltcp, einen TCP/IP-Stack ohne Heap-Allokation geschrieben in Rust, um die Protokolllogik im User-Space zu behandeln. - I/O-Umgehung: DPDK und AF_XDP werden verwendet, um die Paketverarbeitung aus dem Kernel auszulagern, was Latenz und Kosten für CPU-Kontextwechsel reduziert.
- Speichereffizienz: Leerlaufverbindungen nutzen nur 16 Bytes für die Kontextspeicherung, während aktive Verbindungen ungefähr 5 KB verwenden.
- Adressierung: AnyIP-Routing erlaubt es dem Server, auf gesamten Subnetzen zu lauschen, und bietet so genug eindeutige IP-Adressen, um Millionen von Diensten zu unterscheiden.
Warum es wichtig ist
Für Infrastruktur-Ingenieure und technische Gründer hebt dieses Experiment die versteckten Kosten von Abstraktionen hervor. Die meisten modernen Web-Frameworks gehen von reichlich vorhandenem Speicher aus und verlassen sich stark auf den OS-Kernel für das Verbindungsmanagement. Zwar bequem, bricht dieses Modell jedoch bei extremen Maßstäben zusammen, wo der Overhead pro Verbindung zum primären Engpass wird. Das Verständnis, wie man den Kernel umgeht, offenbart Optimierungspotenziale für Hochdurchsatzsysteme wie Load Balancer, API-Gateways und IoT-Hubs, wo die Anzahl der Verbindungen den aktiven Traffic bei weitem übersteigt.
Der Trend zu Userland-Networking ist nicht neu; Projekte wie Seastar und gVisor haben den Weg bereitet, aber diese Demonstration vereinfacht das Konzept für die praktische Anwendung. Sie zeigt, dass Entwickler mit sorgfältigem State-Management und den richtigen Werkzeugen Dichten erreichen können, die zuvor auf Commodity-Hardware als unmöglich galten. Dieses Wissen ist entscheidend für den Aufbau kosteneffizienter Cloud-Services und das Verständnis der Trade-offs zwischen Bequemlichkeit und Leistung in verteilten Systemen.
Was Sie tun können
- Bewerten Sie Ihren aktuellen Netzwerkstack auf Memory-Overhead pro Verbindung mithilfe von Tools wie
ssodernetstatin Kombination mit Memory-Profilern. - Experimentieren Sie mit
smoltcpoder ähnlichen Userland-Stacks für Komponenten mit hoher Parallelität wie Proxies oder Message Broker. - Untersuchen Sie DPDK oder AF_XDP, wenn Ihre Anwendung Millionen von Paketen pro Sekunde verarbeitet und unter Kernel-Interrupt-Overhead leidet.
- Entwerfen Sie Protokolle, die den State für Leerlaufverbindungen minimieren, sodass Sie die Anzahl der Listener skalieren können, ohne lineares Memory-Wachstum zu verursachen.
- Nutzen Sie AnyIP oder ähnliche Routing-Funktionen, um den verfügbaren Adressraum zu erweitern, ohne physische Netzwerkinterfaces hinzuzufügen.
- Profilieren Sie die Kosten für Kontextwechsel in Multi-Thread-Anwendungen und erwägen Sie kooperative Scheduling-Modelle für Aufgaben mit hoher Dichte.


