DeepSeek lanza DeepInfer, un framework de inferencia para producción a gran escala

DeepSeek ha lanzado DeepInfer, un framework de inferencia de código abierto diseñado para impulsar sus servicios de producción a gran escala. Publicado en GitHub en octubre de 2026, este lanzamiento ofrece las funciones principales del motor necesarias para servir modelos DeepSeek-V4.1-Flash a escala, dirigido a ingenieros que requieren capacidades de inferencia offline de alto rendimiento.

Qué ha ocurrido

El equipo de DeepSeek publicó el repositorio de DeepInfer, que ya ha atraído una atención significativa por parte de la comunidad de desarrolladores, acumulando miles de estrellas y forks. Este lanzamiento marca la transición de su infraestructura interna de producción hacia un conjunto de herramientas público, permitiendo a desarrolladores externos aprovechar las mismas técnicas de optimización utilizadas en los propios servicios de DeepSeek. El framework está específicamente adaptado al checkpoint del modelo DeepSeek-V4.1-Flash, garantizando una integración estrecha entre la pila de software y la arquitectura del modelo.

A diferencia de los motores de inferencia de propósito general, DeepInfer se ha construido teniendo en cuenta objetivos de hardware específicos. Es compatible con GPUs NVIDIA SM100 y NPUs Huawei Ascend 950, lo que refleja un enfoque estratégico en arquitecturas de aceleradores de gama alta. La versión incluye kernels optimizados, estrategias de paralelismo y mecanismos de programación esenciales para mantener una baja latencia y un alto rendimiento en despliegues a gran escala. Aunque la versión actual se centra en la inferencia offline, sienta las bases para configuraciones de servicio más complejas.

Cómo funciona

DeepInfer logra su rendimiento mediante una combinación de kernels personalizados y algoritmos avanzados de programación. En el nivel más bajo, utiliza kernels optimizados como FlashMLA, DeepGEMM, DeepEP, TileKernels y DeepSelect, junto con kernels TileLang personalizados. Estos componentes gestionan eficientemente la carga pesada de las multiplicaciones matriciales y los mecanismos de atención. Para el paralelismo, el framework admite Paralelismo de Datos de Atención (DP), Paralelismo de Contexto equilibrado (CP) y Paralelismo de Expertos en Mezcla de Expertos (MoE EP) con Equilibrio de Carga de Paralelismo de Expertos (EPLB).

Una innovación clave en DeepInfer es su enfoque para la aceleración de la decodificación. Implementa DSpark y verificación programada por confianza, que utiliza tokens de borrador para acelerar la generación. El sistema estima niveles de confianza para programar pasos de verificación, reduciendo cálculos innecesarios. Además, emplea la técnica de Repetición Limitada de Atención de Ventana Deslizante del Decodificador (SWA). Esta técnica reduce el trabajo de prellenado repitiendo solo un sufijo limitado del contexto, en lugar de reprocesar todo el historial. Los ingenieros pueden configurar esto estableciendo variables de entorno específicas para definir el modo de truncamiento y el número de tokens a conservar.

El framework también presenta programación asincrónica, que superpone la programación de lotes en CPU con la ejecución en dispositivo para eliminar la sobrecarga. Admite inferencia invariante al lote, asegurando que los resultados del modelo permanezcan idénticos independientemente de la composición del lote, lo cual es crucial para la depuración y la reproducibilidad. También está disponible el muestreo determinista, que permite a los usuarios generar salidas idénticas para entradas idénticas fijando la semilla de la secuencia. Además, DeepInfer admite salidas estructuradas, permitiendo restricciones en la generación mediante expresiones regulares, esquemas JSON o gramáticas EBNF.

Detalles clave

• Modelo compatible: DeepSeek-V4.1-Flash (checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017).
• Soporte de hardware: GPUs NVIDIA SM100 y NPUs Huawei Ascend 950.
• Requisitos previos: Linux, GCC >= 13.0, Python 3.12, CUDA 13 (para NVIDIA) o CANN 9.2 (para Ascend).
• Estrategias de paralelismo: DP de Atención, CP equilibrado, MoE EP con EPLB.
• Técnicas de optimización: DSpark con verificación programada por confianza, repetición limitada SWA y programación asincrónica.
• Licencia: Apache License 2.0.

Por qué importa

Para ingenieros de software y equipos de infraestructura de ML, DeepInfer ofrece una implementación de referencia para ejecutar modelos de lenguaje grandes de manera eficiente en hardware moderno. La inclusión de inferencia invariante al lote y muestreo determinista aborda puntos dolorosos comunes en entornos de producción donde la reproducibilidad es esencial para pruebas y cumplimiento normativo. Al publicar estas herramientas en código abierto, DeepSeek permite a la comunidad realizar pruebas de referencia y optimizar sus propios despliegues contra una línea base de última generación.

La compatibilidad tanto con hardware de NVIDIA como de Huawei amplía la accesibilidad de la inferencia de alto rendimiento, atendiendo a diversas configuraciones de infraestructura. Sin embargo, los desarrolladores deben tener en cuenta que esta versión se centra en la inferencia offline. Un servicio completo de producción aún requeriría componentes adicionales como un sistema de caché KV, la desagregación de fases de prellenado y decodificación, y el equilibrio de carga entre réplicas. Estos elementos no están incluidos en el paquete actual de código abierto, lo que significa que los equipos necesitarán integrar DeepInfer en sus pilas de servicio existentes o construir ellos mismos estas piezas faltantes.

Qué puedes hacer

• Clona el repositorio de DeepInfer desde GitHub y configura un entorno de Python 3.12.
• Instala las dependencias requeridas según tu hardware, usando requirements-nvidia.txt o requirements-ascend.txt.
• Compila el framework desde el código fuente utilizando el script build.sh proporcionado, asegurándote de exportar la variable correcta DEEPINFER_ACCELERATOR.
• Ejecuta el ejemplo de inferencia offline para probar el framework con el checkpoint predeterminado de DeepSeek-V4.1-Flash.
• Experimenta con salidas estructuradas pasando esquemas JSON o patrones de expresión regular a SamplingParams.
• Revisa los benchmarks de evaluación en el directorio eval para comprender las características de rendimiento en el hardware compatible.