NVIDIA Snapshot rút ngắn thời gian khởi tạo khối lượng công việc GPU từ vài phút xuống còn vài giây

NVIDIA vừa ra mắt Snapshot, một hệ thống checkpoint và restore mã nguồn mở được thiết kế để tăng tốc các khối lượng công việc GPU trên Kubernetes. Được công bố vào ngày 10 tháng 11 năm 2026, công cụ này ghi lại trạng thái đã được khởi tạo hoàn toàn của bộ nhớ CPU và GPU, cho phép các bản sao suy luận bắt đầu hoạt động chỉ trong vài giây thay vì vài phút. Nó nhắm vào nút thắt cổ chai của các lần khởi động lạnh (cold start) trong việc phục vụ mô hình ngôn ngữ lớn, nơi mà quá trình khởi tạo trọng số và biên dịch kernel thường làm chậm khả năng mở rộng quy mô.

Chuyện gì đã xảy ra

Vấn đề cốt lõi mà Snapshot giải quyết là độ trễ khi đưa các bản sao suy luận mới trực tuyến. Khi nhu cầu tăng đột biến hoặc một node gặp sự cố, các đội ngũ hạ tầng phải cung cấp tài nguyên cho các pod mới. Quá trình này, được gọi là khởi động lạnh, bao gồm việc tải image container, khởi động engine suy luận, nạp trọng số mô hình vào bộ nhớ GPU, biên dịch code bằng các công cụ như torch.compile và ghi lại CUDA graphs. Đối với các mô hình lớn, chuỗi thao tác này có thể mất vài phút, trong đó các GPU sẵn sàng vẫn nằm im thay vì xử lý yêu cầu.

Snapshot thay đổi quy trình làm việc này bằng cách coi khối lượng công việc đã được khởi tạo như một artifact có thể tái sử dụng. Một khi pod đã sẵn sàng hoàn toàn, Snapshot sẽ ghi lại toàn bộ trạng thái bộ nhớ của nó. Khi cần một bản sao mới, hệ thống khôi phục trạng thái này trực tiếp lên phần cứng tương thích. Điều này bỏ qua các bước nặng nề như nạp trọng số và biên dịch. Hệ thống hỗ trợ các chiến lược song song phức tạp, bao gồm tensor parallelism, data và expert parallelism, cùng decode context parallelism. Nó xử lý các checkpoint lên đến 1 TB trên tám GPU, phù hợp cho các mô hình mixture-of-experts lớn.

Những người dùng sớm đã báo cáo những cải thiện đáng kể. Crusoe, một nhà đóng góp cho dự án, đã giảm thời gian sẵn sàng của các pod GLM-5.3 từ khoảng tám phút xuống còn 31 giây trên phần cứng NVIDIA HGX B300. Tương tự, Saturn Cloud đã cắt giảm thời gian khởi động vLLM từ phạm vi hai đến 8,5 phút xuống còn sáu đến 34 giây. Những kết quả này chứng minh rằng công nghệ này khả thi cho các môi trường sản xuất đòi hỏi khả năng scale-from-zero nhanh chóng.

Cách thức hoạt động

Snapshot hoạt động thông qua hai hành động chính: checkpoint và restore. Cả hai đều được quản lý qua các custom resources của Kubernetes. Để tạo một checkpoint, người dùng định nghĩa một resource PodSnapshot cho một pod đang chạy, hoặc một SnapshotJob để checkpoint một pod ngay khi nó trở nên sẵn sàng. Hệ thống tạm dừng khối lượng công việc trong thời gian ngắn để ghi lại trạng thái bộ nhớ CPU và GPU vào một artifact di động. Artifact này bao gồm trọng số mô hình đã được khởi tạo, các kernel đã biên dịch và các buffer runtime, nhưng loại trừ cache key-value, vốn được xóa trước khi ghi lại.

Việc khôi phục được kích hoạt bằng cách thêm annotation cụ thể nvidia.com/restore-from vào specification của pod mới. Agent Snapshot trên node đích sẽ xác định vị trí artifact và bắt đầu quá trình khôi phục. Điều này liên quan đến việc sử dụng Checkpoint/Restore in Userspace (CRIU) để nạp lại trạng thái tiến trình CPU và một cơ chế khôi phục CUDA chuyên biệt để sao chép trạng thái GPU trở lại vào video memory. Khối lượng công việc sau đó thực hiện một handshake nhanh để thích nghi với node mới và tiếp tục phục vụ. Quá trình này bỏ qua hoàn toàn các giai đoạn khởi động engine ban đầu, nạp trọng số và ghi lại graph.

Chi tiết chính

• Thời gian khôi phục dao động từ 3,6 đến 42,7 giây trên các cấu hình đã thử nghiệm, đại diện cho mức tăng tốc từ 8x đến 36x so với khởi động lạnh.
• Việc tạo checkpoint mất từ 15 giây đến 5,5 phút, tùy thuộc vào kích thước mô hình, nhưng chi phí này được phân bổ đều qua nhiều lần khôi phục.
• Tổng thời gian cho cả việc checkpoint và restore ngắn hơn một lần khởi động lạnh trong mọi cấu hình đã thử nghiệm.
• Đối với các mô hình mixture-of-experts lớn sử dụng tám GPU, việc khôi phục trạng thái GPU chiếm từ 18 đến 29 giây trong tổng thời gian khôi phục.
• Việc khôi phục tiến trình CPU qua CRIU mất từ 4,2 đến 10,8 giây, cho thấy chuyển trạng thái GPU là yếu tố chủ đạo trong các lần khôi phục lớn.
• Hệ thống hỗ trợ vLLM 0.31.0, SGLang 0.5.21 và NVIDIA TensorRT LLM 1.3.0 trên các GPU NVIDIA B200 với lưu trữ VAST NFS.

Tại sao điều này quan trọng

Đối với các đội ngũ kỹ sư xây dựng hạ tầng AI, khoảng cách giữa việc cung cấp tài nguyên GPU và phục vụ lưu lượng truy cập là một sự lãng phí hiệu suất lớn. Các lần khởi động lạnh buộc các đội ngũ phải over-provision dung lượng để xử lý các đợt tăng đột biến, vì họ không thể dựa vào khả năng scaling nhanh. Bằng cách giảm thời gian khởi động xuống dưới 45 giây, Snapshot cho phép áp dụng các chính sách autoscaling mạnh mẽ hơn. Điều này có nghĩa là các cluster có thể duy trì ở mức tinh gọn trong các giai đoạn nhu cầu thấp và mở rộng nhanh chóng khi lưu lượng tăng vọt, cải thiện hiệu suất sử dụng tài nguyên tổng thể và giảm chi phí đám mây.

Hơn nữa, công nghệ này đơn giản hóa việc phục hồi sau sự cố. Nếu một node bị hỏng, việc thay thế dung lượng đã mất không còn đòi hỏi phải chờ đợi vài phút để các pod mới khởi tạo. Các pod được khôi phục sẵn sàng nhận yêu cầu ngay lập tức, duy trì các thỏa thuận mức độ dịch vụ (SLA) hiệu quả hơn. Điều này đặc biệt quan trọng đối với các mô hình mixture-of-experts lớn, nơi độ phức tạp của việc khởi tạo tăng theo kích thước mô hình. Khả năng checkpoint và restore các trạng thái quy mô terabyte giúp việc quản lý các mô hình khổng lồ này trở nên khả thi về mặt vận hành.

Bạn có thể làm gì

• Truy cập repository NVIDIA Snapshot để truy cập hướng dẫn cài đặt và sử dụng cho cluster Kubernetes của bạn.
• Xem xét hướng dẫn sử dụng NVIDIA Dynamo để tìm hiểu cách tích hợp Snapshot với các worker suy luận cho việc khôi phục tự động.
• Thử nghiệm các ví dụ được cung cấp cho vLLM, SGLang và TensorRT LLM để đánh giá tính tương thích với stack hiện tại của bạn.
• Đảm bảo phần cứng của bạn đáp ứng các yêu cầu, cụ thể là khớp model GPU và driver giữa các node checkpoint và restore.
• Tham gia workspace Slack NVIDIA Dynamo và tham gia kênh #snapshot-dev để thảo luận về các thách thức tích hợp.
• Benchmark các khối lượng công việc cụ thể của bạn để xác định tần suất checkpoint tối ưu dựa trên cửa sổ tạo từ 15 giây đến 5,5 phút.