クラウドとインフラ

ユーザーランドネットワークで単一のVM上に1500万台のWebサーバーを実行

smoltcp、DPDK、カスタムスケジューリングを用いてカーネルオーバーヘッドを回避し、1台の仮想マシン(VM)上で1500万台のWebサーバーをホストする方法を示す技術実験。

高密度ネットワークを表す、コンピュータチップ内にミニチュア化されたサーバーのイラスト
この記事用に生成されたイラスト

英語の原文から自動翻訳されました。

最近の詳細な技術解説では、単一の仮想マシン(VM)上で1500万台のWebサーバーを実行するという試みを通じて、高密度ネットワークの限界を探っています。2026年11月に公開されたこの実験は、RAM 10GBとCPUコア1個という制約のある環境を対象としており、従来のインフラストラクチャに関する前提に挑戦しています。ネットワークスタックの操作をカーネルからユーザー空間へ移行することで、リソース消費を増大させることなく、大規模な同時接続を実現しています。

何が起きたか

プロジェクトは、「地球上のすべての人々に対して一意のWebサーバーを作成する」というシンプルな目標から始まりました。標準的なLinuxシステムコールを使用した初期のアプローチは、すぐに失敗しました。ポートで待機する基本的なC言語のサーバーは、利用可能なポート範囲を瞬時に枯渇させました。これはIPアドレスあたり約65,000エントリに制限されています。ローカルポート範囲を拡張し、AnyIPルーティングを使用して複数のIPアドレスを利用した後も、プロセスはメモリの壁にぶつかりました。カーネルによって作成される各標準ソケットは、tcp_sockやsocket_allocなどの内部構造体により、接続がアクティブかアイドルかを問わず、約3300バイトのRAMを消費します。数百万個のこれらのソケットを実行するにはテラバイト単位のメモリが必要となり、10GBという予算を大幅に超えてしまいます。

これを克服するために、オペレーティングシステムのネットワークスタックに依存するアプローチから、カスタムのユーザーランドランタイムを構築する方向へ転換しました。数百万のプロセスやスレッドを生成する代わりに、このソリューションは、数百万個の軽量なゲストコンテキストをホストする単一のプロセスを使用します。この手法は、仮想マシンや言語ランタイムが分離性を管理する方法を模倣していますが、不要なオーバーヘッドをすべて排除しています。重要な洞察は、ほとんどの接続がアイドル状態であり、データが実際に到着するまでその状態はほぼゼロのメモリしか消費すべきではないという点でした。

仕組み

中核となる技術は、ネットワークI/Oにおいてカーネルを完全にバイパスすることにあります。listenやacceptなどの標準的なシステムコールは、smoltcpと呼ばれるユーザー空間のTCP/IPスタックに置き換えられます。このライブラリはベアメタルシステム向けに設計されており、ヒープ割り当てを必要としないため、厳しいメモリ制約に適しています。パケットをこのスタックに供給するために、システムはDPDK(Data Plane Development Kit)やAF_XDPなどの高性能インターフェースを使用します。これらのツールにより、アプリケーションはカーネルのネットワーク層を完全にスキップして、ネットワークカードから直接イーサネットフレームを読み取ることができます。

スケジューリングは、アプリケーション内のカスタムマイクロカーネルによって処理されます。各Webサーバーインスタンスは、プログラムカウンタと2つのファイルディスクリプタのみを含む最小限のコンテキスト構造体で表され、ゲストあたり合計16バイトです。CPUはこれらのゲスト間を高速に切り替え、特定の接続に対するパケットが到着したときにのみ実行を再開します。アクティブな接続はバッファ管理のために約5KBのRAMを消費しますが、アイドル接続は16バイトのコンテキスト以外のコストを一切発生させません。このアーキテクチャにより、1500万台のアイドルサーバーがメモリ制限内に余裕を持って収まり、さらに数百万件の同時アクティブ接続に対応できる余地が残ります。

主要な詳細

  • 目標密度: RAM 10GBおよびCPUコア1個の単一VM上で1500万台のWebサーバー。
  • カーネルオーバーヘッド: tcp_sockやdentryなどの構造体により、標準的なLinuxソケットはそれぞれ約3300バイトを消費するため、大規模な展開には適していません。
  • ユーザーランドスタック: プロトコルロジックをユーザー空間で処理するために、Rustで書かれたヒープ割り当てなしのTCP/IPスタックであるsmoltcpを使用しています。
  • I/Oバイパス: DPDKおよびAF_XDPを使用してパケット処理をカーネル外へ移動し、レイテンシとCPUコンテキストスイッチのコストを削減しています。
  • メモリ効率: アイドル接続はコンテキストストレージにわずか16バイトを使用し、アクティブ接続は約5KBを使用します。
  • アドレッシング: AnyIPルーティングにより、サーバーはサブネット全体で待機することができ、数百万のサービスを区別するのに十分な一意のIPアドレスを提供します。

なぜ重要なのか

インフラエンジニアや技術系創業者にとって、この実験は抽象化に伴う隠れたコストを浮き彫りにします。多くの現代的なWebフレームワークは、豊富なメモリが存在することを前提とし、接続管理においてOSカーネルに強く依存しています。利便性は高いものの、接続ごとのオーバーヘッドが主要なボトルネックとなる極端なスケールでは、このモデルは破綻します。カーネルをバイパスする方法を理解することは、負荷分散装置、APIゲートウェイ、IoTハブなど、接続数がアクトラフィックを上回る高スループットシステムの最適化機会を明らかにします。

ユーザーランドネットワークへの移行は新しい概念ではなく、SeastarやgVisorなどのプロジェクトが道を切り開いてきましたが、このデモンストレーションは実用的な適用のために概念を簡略化しています。慎重な状態管理と適切なツールを用いれば、開発者は汎用ハードウェア上で従来不可能と考えられていた密度を達成できることを示しています。この知識は、コスト効率の高いクラウドサービスを構築し、分散システムにおける利便性とパフォーマンスのトレードオフを理解するために不可欠です。

実践できること

  • ssやnetstatなどのツールをメモリプロファイラと組み合わせて、現在のネットワークスタックにおける接続ごとのメモリオーバーヘッドを評価してください。
  • プロキシやメッセージブローカーなどの高並行性コンポーネントには、smoltcpや同様のユーザーランドスタックを試してみてください。
  • アプリケーションが毎秒数百万のパケットを処理し、カーネル割り込みオーバーヘッドに苦しんでいる場合は、DPDKまたはAF_XDPを検討してください。
  • アイドル接続の状態を最小限にするプロトコルを設計し、線形なメモリ増加なしにリスナー数をスケールできるようにしてください。
  • AnyIPや同様のルーティング機能を使用して、物理的なネットワークインターフェースを追加せずに利用可能なアドレス空間を拡張してください。
  • マルチスレッドアプリケーションでのコンテキストスイッチのコストをプロファイルし、高密度タスクには協調的スケジューリングモデルを検討してください。
  • #networking
  • #linux
  • #performance
  • #rust
  • #infrastructure

Bytechapストアのツール

続きを読む

すべての記事