ReplaySSM acelera la decodificación de modelos híbridos mediante el almacenamiento en caché de entradas en lugar del estado

NVIDIA y el Dao AI Lab de la Universidad de Princeton han presentado ReplaySSM, un nuevo método para optimizar la fase de decodificación de los grandes modelos de lenguaje híbridos. Publicado en octubre de 2026, este enfoque replantea cómo los Modelos de Espacio de Estados (SSMs) almacenan y actualizan su estado interno durante la inferencia. Al almacenar en caché los tokens de entrada recientes en lugar de sobrescribir continuamente la matriz de estado completa, la técnica reduce significativamente el uso del ancho de banda de memoria y permite una decodificación especulativa más eficiente.

Qué ocurrió

Los modelos híbridos, que intercalan capas SSM con capas de atención tradicionales, se están volviendo comunes en arquitecturas modernas como NVIDIA Nemotron 3, Qwen3.5 y Kimi-K3. Estos modelos utilizan SSMs para gestionar contextos largos de manera eficiente, reemplazando la creciente caché clave-valor de los mecanismos de atención por un estado de tamaño fijo. Sin embargo, con tamaños de lote de servicio elevados, las capas SSM a menudo se convierten en el principal cuello de botella de latencia porque requieren lecturas y escrituras frecuentes de matrices de estado grandes desde memoria de alto ancho de banda.

El equipo de investigación identificó que la decodificación convencional fusiona el cálculo de salida y las actualizaciones de estado en un solo paso, lo que causa un tráfico de memoria excesivo. ReplaySSM desacopla estas operaciones representando el estado como un punto de control (checkpoint) más un búfer de entradas recientes. Este cambio permite al sistema calcular salidas sin escribir constantemente el estado completo de vuelta a la memoria, actualizando el checkpoint solo cuando el búfer de entrada está lleno. El método ya está integrado en principales marcos de inferencia como TensorRT-LLM, vLLM y FlashInfer.

Cómo funciona

En la decodificación SSM estándar, cada paso de generación de token carga el estado anterior, aplica una atenuación y actualización, calcula la salida y almacena el nuevo estado. Este proceso está limitado por la memoria porque la intensidad aritmética es baja en relación con el movimiento de datos. ReplaySSM cambia esto desenrollando la recurrencia sobre una pequeña ventana de tokens. En lugar de actualizar el estado en cada paso, añade los vectores de entrada del token actual a un búfer. La salida se calcula utilizando el checkpoint almacenado y las entradas en búfer.

Cuando el búfer alcanza un tamaño predefinido, una operación de vaciado (flush) integra todas las entradas en búfer en el checkpoint y lo escribe en la memoria una sola vez. Esto reduce el número de escrituras de estado aproximadamente a la mitad. Para la decodificación especulativa, donde se generan y verifican múltiples tokens borrador, ReplaySSM simplifica el rollback. En lugar de guardar instantáneas del estado completo para cada token borrador, el sistema simplemente añade las entradas borrador al búfer. Si se rechaza un borrador, el puntero del búfer se restablece, descartando las entradas no confirmadas sin ninguna restauración costosa del estado.

Detalles clave

• ReplaySSM reduce el tráfico de memoria de estado en aproximadamente un 50% al escribir checkpoints solo después de que se llena un búfer de entradas recientes.
• En GPUs NVIDIA Blackwell Ultra B300 con un tamaño de lote de 256, los kernels de decodificación SSM funcionan entre 1,46x y 1,80x más rápido que los métodos convencionales.
• El rendimiento de la decodificación especulativa aumenta entre 1,85x y 2,10x para modelos de clase 120B porque el rollback ya no requiere guardar y restaurar instantáneas de estado.
• La técnica admite el almacenamiento de estado de baja precisión manteniendo un checkpoint de alta precisión para la recurrencia mientras utiliza copias de baja precisión para las lecturas, limitando la acumulación de errores.
• Los modelos evaluados incluyen variantes de Nemotron-3 y Qwen3.5, mostrando ganancias consistentes en diferentes arquitecturas SSM como Mamba-2 y Gated DeltaNet.
• El método ya está desplegado en sistemas de producción como GLM-5.3-Flash y Kimi-K3.

Por qué importa

Para los ingenieros que construyen y sirven grandes modelos híbridos, el ancho de banda de memoria suele ser el factor limitante para el rendimiento. Al reducir el tráfico de memoria dominante en las capas SSM, ReplaySSM permite tamaños de lote más altos sin aumentar la latencia por token. Esto es crucial para un servicio rentable, ya que habilita un mejor uso del hardware en GPUs costosas como la H100 y la B300. La ganancia de rendimiento escala con el tamaño del lote, lo que la hace particularmente valiosa para entornos de producción de alta concurrencia.

Además, ReplaySSM hace viable la decodificación especulativa para modelos basados en SSM. Anteriormente, el costo de guardar instantáneas de estado para el rollback negaba los beneficios de la especulación en estas arquitecturas. Al tratar el búfer de entrada como un puntero de caché clave-valor, el método restaura la eficiencia de la predicción multi-token. Esto permite a los desarrolladores utilizar estrategias agresivas de especulación para reducir aún más la latencia, acercando el rendimiento de SSM a los límites teóricos del hardware.

Qué puedes hacer

• Lee el artículo completo de ReplaySSM en arXiv para entender la derivación matemática y las métricas de evaluación detalladas.
• Explora la implementación de código abierto en GitHub para experimentar con el mecanismo de almacenamiento en caché en tus propios proyectos.
• Actualiza a las últimas versiones de TensorRT-LLM o vLLM para habilitar el soporte de ReplaySSM para modelos híbridos compatibles.
• Realiza pruebas de referencia (benchmarking) de tus cargas de trabajo SSM actuales con tamaños de lote más altos para cuantificar las posibles mejoras de rendimiento debido a la reducción del tráfico de memoria.
• Investiga configuraciones de decodificación especulativa con longitudes de borrador más grandes, ya que ReplaySSM elimina las penalizaciones de memoria anteriores asociadas con el rollback.
• Monitorea los errores de cuantización si utilizas estados de baja precisión, teniendo en cuenta que la separación checkpoint-búfer ayuda a mantener una precisión cercana a los niveles FP32.