Cómo OCRia logró una aceleración de inferencia 10x en GPUs B200

El equipo de ingeniería detrás de OCRia-1 ha detallado cómo lograron un aumento casi diez veces mayor en la velocidad de generación de tokens, pasando de aproximadamente 285 tokens por segundo a 2800 tokens por segundo en una sola GPU NVIDIA B200. Publicado el 3 de noviembre de 2026, el desglose técnico revela que este salto de rendimiento no fue el resultado de un único avance, sino más bien una reducción sistemática de los cuellos de botella de memoria y la sobrecarga computacional en todo el stack de inferencia.

Qué pasó

La latencia ha sido durante mucho tiempo una restricción principal para los flujos de trabajo de análisis de documentos, donde las páginas densas requieren salidas estructuradas extensas. El equipo de OCRia identificó que su pipeline de inferencia estaba limitado por el ancho de banda de memoria en lugar de por la capacidad de cómputo, lo que significa que la GPU pasaba más tiempo moviendo pesos del modelo y datos de estado que realizando operaciones matemáticas. Para abordar esto, se centraron en tres áreas clave: reducir el volumen de datos movidos durante cada paso de decodificación, generar más tokens por pasada hacia adelante (forward pass) y minimizar la sobrecarga de CPU y GPU asociada con cada paso.

La estrategia de optimización resultante combinó técnicas establecidas como la cuantización con implementaciones novedosas de decodificación especulativa y desarrollo de kernels personalizados. Al perfilar rigurosamente cada etapa del proceso de inferencia, el equipo eliminó transferencias de memoria redundantes y simplificó la preparación de metadatos. Estos cambios permiten al sistema manejar solicitudes concurrentes de manera más eficiente, habilitando iteraciones más rápidas en benchmarks y resultados más ágiles para los usuarios finales sin sacrificar la precisión.

Cómo funciona

La base de la aceleración radica en la cuantización consciente de la carga de trabajo. En lugar de aplicar una reducción uniforme de precisión, el equipo utilizó precisión mixta, manteniendo capas sensibles en mayor precisión mientras comprimía otras a FP8 o NVFP4. Emplearon cuantización consciente de activaciones, que calibra los factores de escala utilizando datos dentro de la distribución objetivo para garantizar que la compresión siga siendo efectivamente sin pérdida para las tareas específicas. Cabe destacar que el codificador visual se dejó sin cuantizar para preservar la precisión visual, demostrando un enfoque dirigido para equilibrar tamaño y fidelidad.

Para superar la limitación autoregresiva de generar un token por paso, el equipo implementó decodificación especulativa utilizando un modelo borrador llamado DFlash2. Este modelo más pequeño predice múltiples tokens futuros en paralelo, que el modelo objetivo más grande luego verifica en una sola pasada hacia adelante. DFlash2 utiliza convoluciones locales y un selector de candidatos para lograr tasas de aceptación de más de 12 tokens, aumentando significativamente el throughput. El proceso está garantizado matemáticamente como sin pérdida, ya que cualquier especulación incorrecta se descarta sin afectar la distribución final de salida.

Las ganancias adicionales provienen de optimizaciones profundas del motor. El equipo adaptó ReplaySSM para optimizar la gestión de estado en Gated Delta Networks, reduciendo el costo de revertir tokens especulativos rechazados. También fusionaron operaciones consecutivas, como la activación SiLU y la cuantización, para mantener los resultados intermedios en registros rápidos de la GPU en lugar de escribirlos en memoria de alto ancho de banda. En el lado de la CPU, refactorizaron la construcción de metadatos para evitar cálculos redundantes entre diferentes grupos de caché, reduciendo el número de lanzamientos de GPU requeridos por paso de decodificación de cientos a solo uno.

Detalles clave

• Ganancia de rendimiento: La velocidad de generación de tokens aumentó de ~285 tokens/seg a ~2800 tokens/seg en una sola GPU B200.
• Estrategia de cuantización: Precisión mixta usando BF16, FP8 y NVFP4, con calibración consciente de activaciones para mantener la precisión.
• Decodificación especulativa: Utiliza DFlash2, un modelo borrador de difusión por bloques que logra tasas de aceptación de más de 12 tokens por pasada.
• Optimización de kernels: Kernels CUDA personalizados redujeron el tiempo de verificación de ReplaySSM de 72–80 µs a 23–24 µs por capa.
• Eficiencia de CPU: La construcción de metadatos se optimizó para requerir solo un lanzamiento de GPU por paso, frente a aproximadamente 290.
• Disponibilidad: OCRia-1 está actualmente disponible en LlamaParse, y las optimizaciones generalizables serán contribuidas de vuelta a vLLM.

Por qué importa

Para los ingenieros que construyen productos de IA documental, este estudio de caso destaca que la potencia bruta del hardware a menudo es insuficiente sin una cuidadosa optimización de software. El cambio de operaciones limitadas por cómputo a operaciones limitadas por memoria en modelos grandes significa que reducir el movimiento de datos suele ser más impactante que añadir más unidades de cómputo. Comprender el modelo roofline e identificar si una carga de trabajo está limitada por ancho de banda o por cómputo permite a los equipos priorizar las optimizaciones correctas, como la cuantización o la fusión de kernels, en lugar de escalar recursos a ciegas.

El uso de decodificación especulativa demuestra un camino práctico para romper el cuello de botella secuencial de la generación autoregresiva. Al verificar múltiples tokens en paralelo, los desarrolladores pueden mejorar significativamente la interactividad y el throughput para usuarios que manejan documentos largos. Sin embargo, esto requiere una implementación cuidadosa para asegurar que el modelo borrador se alinee bien con el modelo objetivo, ya que malas tasas de aceptación pueden anular los beneficios. El éxito del equipo de OCRia con DFlash2 muestra que invertir en arquitecturas de borradores especializadas puede producir retornos sustanciales.

Finalmente, el énfasis en el perfilado y la mejora incremental subraya la importancia de la medición en la ingeniería de sistemas. Muchas de las ganancias provinieron de pequeñas optimizaciones acumulativas como fusionar operaciones o refinar el manejo de metadatos. Estos cambios, aunque individualmente modestos, contribuyeron colectivamente a más del 60% del throughput adicional. Este enfoque anima a los desarrolladores a mirar más allá de la configuración de alto nivel de los frameworks y sumergirse en los detalles de implementación de sus motores de inferencia para desbloquear rendimiento oculto.

Qué puedes hacer

• Perfilá tu pipeline de inferencia para determinar si está limitado por ancho de banda de memoria o por cómputo antes de elegir estrategias de optimización.
• Implementá cuantización de precisión mixta con calibración consciente de activaciones para reducir el uso de memoria sin pérdida significativa de precisión.
• Explorá la decodificación especulativa con un modelo borrador ligero para generar múltiples tokens por pasada hacia adelante.
• Fusioná operaciones de kernel consecutivas para minimizar escrituras en memoria de alto ancho de banda y mantener los datos en registros.
• Optimizá la preparación de metadatos del lado de la CPU mediante el almacenamiento en caché de estructuras compartidas y la reducción de lanzamientos redundantes de GPU.
• Contribuí con optimizaciones generalizables de vuelta a motores de inferencia open-source como vLLM para beneficiar a la comunidad en general.