NVIDIA Snapshot reduce el tiempo de inicio de cargas de trabajo GPU de minutos a segundos

NVIDIA ha lanzado Snapshot, un sistema de código abierto para crear y restaurar puntos de control diseñado para acelerar las cargas de trabajo de GPU en Kubernetes. Publicado el 10 de noviembre de 2026, esta herramienta captura el estado completamente inicializado de la memoria CPU y GPU, permitiendo que las réplicas de inferencia se inicien en segundos en lugar de minutos. Su objetivo es eliminar el cuello de botella de los inicios en frío en el servicio de modelos de lenguaje grandes, donde la inicialización de pesos y la compilación de kernels suelen retrasar el escalado.

Qué ocurrió

El problema central que aborda Snapshot es la latencia implicada en poner en línea nuevas réplicas de inferencia. Cuando la demanda aumenta o un nodo falla, los equipos de infraestructura deben aprovisionar nuevos pods. Este proceso, conocido como inicio en frío, implica cargar imágenes de contenedores, iniciar el motor de inferencia, leer los pesos del modelo en la memoria GPU, compilar código con herramientas como torch.compile y capturar gráficos CUDA. Para modelos grandes, esta secuencia puede tardar varios minutos, durante los cuales las GPUs disponibles permanecen ociosas en lugar de atender solicitudes.

Snapshot cambia este flujo de trabajo tratando la carga de trabajo inicializada como un artefacto reutilizable. Una vez que un pod está completamente listo, Snapshot captura su estado completo de memoria. Cuando se necesita una nueva réplica, el sistema restaura este estado directamente en hardware compatible. Esto evita la carga pesada de la lectura de pesos y la compilación. El sistema admite estrategias complejas de paralelismo, incluyendo paralelismo de tensores, paralelismo de datos y expertos, y paralelismo de contexto de decodificación. Maneja puntos de control de hasta 1 TB en ocho GPUs, lo que lo hace adecuado para grandes modelos de mezcla de expertos (mixture-of-experts).

Los primeros adoptantes han reportado mejoras significativas. Crusoe, contribuyente al proyecto, redujo el tiempo de preparación de los pods GLM-5.3 de aproximadamente ocho minutos a 31 segundos en hardware NVIDIA HGX B300. De manera similar, Saturn Cloud redujo los tiempos de inicio de vLLM de un rango de dos a 8,5 minutos a entre seis y 34 segundos. Estos resultados demuestran que la tecnología es viable para entornos de producción que requieren capacidades rápidas de escalado desde cero.

Cómo funciona

Snapshot opera mediante dos acciones principales: checkpoint (punto de control) y restore (restauración). Ambas se gestionan a través de recursos personalizados de Kubernetes. Para crear un punto de control, los usuarios definen un recurso PodSnapshot para un pod en ejecución, o un SnapshotJob para realizar un checkpoint de un pod tan pronto como esté listo. El sistema pausa brevemente la carga de trabajo para capturar el estado de memoria de CPU y GPU en un artefacto portable. Este artefacto incluye los pesos del modelo inicializados, los kernels compilados y los buffers de tiempo de ejecución, pero excluye la caché clave-valor, que se limpia antes de la captura.

La restauración se activa añadiendo una anotación específica, nvidia.com/restore-from, a la especificación de un nuevo pod. El agente Snapshot en el nodo destino localiza el artefacto e inicia el proceso de restauración. Esto implica usar Checkpoint/Restore in Userspace (CRIU) para recargar el estado del proceso de CPU y un mecanismo especializado de restauración CUDA para copiar el estado de la GPU de vuelta a la memoria de vídeo. La carga de trabajo luego realiza un rápido intercambio de saludos (handshake) para adaptarse al nuevo nodo y reanudar el servicio. Este proceso omite por completo las fases iniciales de arranque del motor, carga de pesos y captura de gráficos.

Detalles clave

• Los tiempos de restauración varían entre 3,6 y 42,7 segundos en las configuraciones probadas, representando una mejora de velocidad de 8x a 36x sobre los inicios en frío.
• La creación del punto de control tarda entre 15 segundos y 5,5 minutos, dependiendo del tamaño del modelo, pero este costo se amortiza sobre múltiples restauraciones.
• El tiempo combinado para crear el punto de control y restaurarlo es más corto que un único inicio en frío en todas las configuraciones probadas.
• Para grandes modelos de mezcla de expertos de ocho GPUs, la restauración del estado de la GPU representa entre 18 y 29 segundos del tiempo total de restauración.
• La restauración del proceso de CPU vía CRIU tarda entre 4,2 y 10,8 segundos, lo que indica que la transferencia del estado de la GPU es el factor dominante en restauraciones grandes.
• El sistema soporta vLLM 0.31.0, SGLang 0.5.21 y NVIDIA TensorRT LLM 1.3.0 en GPUs NVIDIA B200 con almacenamiento VAST NFS.

Por qué importa

Para los equipos de ingeniería que construyen infraestructura de IA, la brecha entre el aprovisionamiento de una GPU y el servicio de tráfico es una importante fuga de eficiencia. Los inicios en frío obligan a los equipos a sobreaprovisionar capacidad para manejar picos súbitos, ya que no pueden depender de un escalado rápido. Al reducir el tiempo de inicio a menos de 45 segundos, Snapshot permite políticas de autoescalado más agresivas. Esto significa que los clústeres pueden mantenerse más ligeros durante períodos de baja demanda y expandirse rápidamente cuando el tráfico se dispara, mejorando la utilización general de recursos y reduciendo los costos en la nube.

Además, esta tecnología simplifica la recuperación ante fallos. Si un nodo cae, reemplazar la capacidad perdida ya no requiere esperar minutos para que los nuevos pods se inicialicen. Los pods restaurados están inmediatamente listos para aceptar solicitudes, manteniendo los acuerdos de nivel de servicio (SLA) de manera más efectiva. Esto es particularmente crítico para grandes modelos de mezcla de expertos, donde la complejidad de inicialización crece con el tamaño del modelo. La capacidad de crear y restaurar puntos de control de estados de terabytes hace que la gestión de estos modelos masivos sea operativamente más factible.

Qué puedes hacer

• Visita el repositorio de NVIDIA Snapshot para acceder a instrucciones de instalación y guías de uso para tu clúster de Kubernetes.
• Revisa la guía de usuario de NVIDIA Dynamo para aprender cómo integrar Snapshot con workers de inferencia para restauración automatizada.
• Prueba los ejemplos proporcionados para vLLM, SGLang y TensorRT LLM para evaluar la compatibilidad con tu stack actual.
• Asegúrate de que tu hardware cumpla con los requisitos, específicamente igualando los modelos de GPU y drivers entre nodos de checkpoint y restore.
• Únete al espacio de trabajo Slack de NVIDIA Dynamo y participa en el canal #snapshot-dev para discutir desafíos de integración.
• Realiza pruebas de rendimiento (benchmarking) de tus cargas de trabajo específicas para determinar la frecuencia óptima de checkpoints basada en la ventana de creación de 15 segundos a 5,5 minutos.