Chạy 15 triệu máy chủ web trên một VM duy nhất với networking userland
Một thử nghiệm kỹ thuật cho thấy cách lưu trữ 15 triệu máy chủ web trên một VM bằng cách vượt qua chi phí của kernel sử dụng smoltcp, DPDK và cơ chế lập lịch tùy chỉnh.
Được dịch tự động từ bản gốc tiếng Anh.
Một bài phân tích kỹ thuật gần đây đã khám phá giới hạn của mạng mật độ cao bằng cách cố gắng chạy 15 triệu máy chủ web trên một máy ảo (VM) duy nhất. Thử nghiệm này, được công bố vào tháng 11 năm 2026, nhắm mục tiêu vào môi trường bị ràng buộc gồm 10GB RAM và một lõi CPU để thách thức các giả định về hạ tầng truyền thống. Bằng cách chuyển các hoạt động của ngăn xếp mạng ra khỏi kernel và đưa vào không gian người dùng (user space), tác giả đạt được khả năng đồng thời khổng lồ mà không làm tăng tương ứng mức tiêu thụ tài nguyên.
Chuyện gì đã xảy ra
Dự án bắt đầu với một mục tiêu đơn giản: tạo ra một máy chủ web độc nhất cho mỗi người trên Trái Đất. Các nỗ lực ban đầu sử dụng các lời gọi hệ thống Linux tiêu chuẩn đều thất bại nhanh chóng. Một máy chủ C cơ bản lắng nghe trên các cổng đã làm cạn kiệt phạm vi cổng khả dụng, vốn chỉ giới hạn ở khoảng 65.000 mục cho mỗi địa chỉ IP. Ngay cả sau khi mở rộng phạm vi cổng cục bộ và tận dụng nhiều địa chỉ IP thông qua định tuyến AnyIP, quá trình vẫn gặp phải rào cản bộ nhớ cứng nhắc. Mỗi socket tiêu chuẩn do kernel tạo ra tiêu tốn khoảng 3300 byte RAM cho các cấu trúc nội bộ như tcp_sock và socket_alloc, bất kể kết nối đang hoạt động hay nhàn rỗi. Việc chạy hàng triệu socket như vậy sẽ đòi hỏi hàng terabyte bộ nhớ, vượt xa ngân sách 10GB.
Để khắc phục điều này, phương pháp tiếp cận đã thay đổi từ việc phụ thuộc vào ngăn xếp mạng của hệ điều hành sang xây dựng một runtime userland tùy chỉnh. Thay vì khởi tạo hàng triệu tiến trình hoặc luồng, giải pháp sử dụng một tiến trình duy nhất lưu trữ hàng triệu ngữ cảnh khách (guest context) nhẹ. Phương pháp này mô phỏng cách các máy ảo hoặc runtime ngôn ngữ quản lý sự cô lập nhưng loại bỏ mọi chi phí không cần thiết. Insight chính là hầu hết các kết nối đều ở trạng thái nhàn rỗi, nên trạng thái của chúng nên tiêu tốn gần như không có bộ nhớ cho đến khi dữ liệu thực sự đến.
Cách nó hoạt động
Công nghệ cốt lõi dựa vào việc hoàn toàn bỏ qua kernel đối với I/O mạng. Các syscall tiêu chuẩn như listen và accept được thay thế bằng một ngăn xếp TCP/IP trong không gian người dùng tên là smoltcp. Thư viện này được thiết kế cho các hệ thống bare-metal và không yêu cầu cấp phát heap, khiến nó lý tưởng cho các ràng buộc bộ nhớ chặt chẽ. Để cung cấp gói tin cho ngăn xếp này, hệ thống sử dụng các giao diện hiệu suất cao như DPDK (Data Plane Development Kit) hoặc AF_XDP. Các công cụ này cho phép ứng dụng đọc trực tiếp các khung Ethernet từ card mạng, bỏ qua hoàn toàn các lớp mạng của kernel.
Việc lập lịch được xử lý bởi một micro-kernel tùy chỉnh bên trong ứng dụng. Mỗi instance máy chủ web được đại diện bởi một cấu trúc ngữ cảnh tối thiểu chỉ chứa bộ đếm chương trình và hai mô tả file, tổng cộng chỉ 16 byte cho mỗi guest. CPU chuyển đổi nhanh chóng giữa các guest này, chỉ tiếp tục thực thi khi một gói tin đến cho một kết nối cụ thể. Các kết nối đang hoạt động tiêu tốn khoảng 5KB RAM cho việc quản lý buffer, nhưng các kết nối nhàn rỗi không tiêu tốn gì ngoài 16 byte ngữ cảnh của chúng. Kiến trúc này cho phép 15 triệu máy chủ nhàn rỗi vừa vặn thoải mái trong giới hạn bộ nhớ, với dư địa cho hàng triệu kết nối đồng thời đang hoạt động.
Chi tiết chính
- Mật độ mục tiêu: 15 triệu máy chủ web trên một VM với 10GB RAM và 1 lõi CPU.
- Chi phí kernel: Socket Linux tiêu chuẩn tiêu tốn ~3300 byte mỗi cái do các struct như
tcp_sockvàdentry, khiến chúng không phù hợp cho quy mô lớn. - Ngăn xếp userland: Dự án sử dụng
smoltcp, một ngăn xếp TCP/IP không cấp phát heap viết bằng Rust, để xử lý logic giao thức trong không gian người dùng. - Bỏ qua I/O: DPDK và AF_XDP được sử dụng để di chuyển việc xử lý gói tin ra khỏi kernel, giảm độ trễ và chi phí chuyển đổi ngữ cảnh CPU.
- Hiệu quả bộ nhớ: Kết nối nhàn rỗi chỉ sử dụng 16 byte cho lưu trữ ngữ cảnh, trong khi kết nối đang hoạt động sử dụng khoảng 5KB.
- Địa chỉ hóa: Định tuyến AnyIP cho phép máy chủ lắng nghe trên toàn bộ subnet, cung cấp đủ địa chỉ IP độc nhất để phân biệt hàng triệu dịch vụ.
Tại sao điều này quan trọng
Đối với các kỹ sư hạ tầng và nhà sáng lập kỹ thuật, thử nghiệm này làm nổi bật những chi phí ẩn của các lớp trừu tượng. Hầu hết các framework web hiện đại giả định bộ nhớ dồi dào và phụ thuộc nhiều vào kernel OS để quản lý kết nối. Mặc dù tiện lợi, mô hình này sụp đổ ở các quy mô cực đoan nơi chi phí trên mỗi kết nối trở thành nút thắt cổ chai chính. Hiểu cách bỏ qua kernel hé lộ các cơ hội tối ưu hóa hệ thống thông lượng cao, chẳng hạn như load balancer, API gateway và hub IoT, nơi số lượng kết nối vượt xa lưu lượng truy cập đang hoạt động.
Sự chuyển dịch sang networking userland không mới, với các dự án như Seastar và gVisor đã đi tiên phong, nhưng minh họa này đơn giản hóa khái niệm cho ứng dụng thực tế. Nó cho thấy rằng với việc quản lý trạng thái cẩn thận và các công cụ phù hợp, các nhà phát triển có thể đạt được mật độ trước đây được coi là bất khả thi trên phần cứng thương mại. Kiến thức này rất quan trọng để xây dựng các dịch vụ đám mây hiệu quả về chi phí và hiểu rõ sự đánh đổi giữa tính tiện lợi và hiệu suất trong các hệ thống phân tán.
Những gì bạn có thể làm
- Đánh giá ngăn xếp mạng hiện tại của bạn về chi phí bộ nhớ trên mỗi kết nối bằng các công cụ như
sshoặcnetstatkết hợp với profiler bộ nhớ. - Thử nghiệm với
smoltcphoặc các ngăn xếp userland tương tự cho các thành phần đồng thời cao như proxy hoặc message broker. - Tìm hiểu DPDK hoặc AF_XDP nếu ứng dụng của bạn xử lý hàng triệu gói tin mỗi giây và chịu ảnh hưởng từ chi phí ngắt kernel.
- Thiết kế các giao thức giảm thiểu trạng thái cho kết nối nhàn rỗi, cho phép bạn mở rộng số lượng listener mà không làm tăng bộ nhớ theo cấp số nhân.
- Sử dụng AnyIP hoặc các tính năng định tuyến tương tự để mở rộng không gian địa chỉ khả dụng mà không cần thêm giao diện mạng vật lý.
- Profile chi phí chuyển đổi ngữ cảnh trong các ứng dụng đa luồng và xem xét các mô hình lập lịch hợp tác (cooperative scheduling) cho các tác vụ mật độ cao.


