Construir con IA

Optimización de indexadores de atención dispersa para inferencia en contextos largos en GPUs NVIDIA

Ingenieros de NVIDIA detallan cómo co-diseñar indexadores de atención dispersa para maximizar la utilización de los Tensor Cores y minimizar los cuellos de botella de memoria durante la inferencia en contextos largos.

Un cubo de cristal con capas de circuitos brillantes que representan la optimización de la atención dispersa.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

A medida que las cargas de trabajo agénticas y las bases de código grandes empujan las ventanas de contexto desde decenas de miles a cientos de miles de tokens, los mecanismos de atención se han convertido en el principal cuello de botella en la inferencia de transformers. Investigadores de NVIDIA han publicado un análisis técnico que demuestra que una atención dispersa eficiente requiere un co-diseño cuidadoso del componente indexador para alinearse con las restricciones del hardware de GPU. Los hallazgos revelan opciones arquitectónicas específicas que evitan que los costes de cómputo escalen linealmente con la longitud del contexto.

Qué ha ocurrido

La atención dispersa reduce la carga computacional limitando cada consulta para que atienda solo a un pequeño subconjunto de claves relevantes, en lugar de puntuar cada token en el contexto. Sin embargo, el proceso de identificar estas claves relevantes recae en un indexador, que aún debe evaluar toda la longitud del contexto. En modelos como DeepSeek V3.2, el indexador y los pasos subsiguientes de selección Top-k consumen casi la mitad del tiempo de prellenado por capa a 128.000 tokens, desplazando el cuello de botella de rendimiento en lugar de eliminarlo.

El análisis se centra en la atención dispersa a nivel de modelo, donde la dispersión se entrena directamente en la arquitectura, distinguiéndola de los métodos de optimización post-entrenamiento. Al examinar kernels FP8 de producción, los investigadores exploraron varios parámetros de diseño, incluyendo cabezas de consulta, cabezas de clave, dimensiones de cabeza y ratios de compresión. El objetivo era determinar qué configuraciones aprovechan mejor el hardware de GPU de NVIDIA, específicamente los Tensor Cores, para mantener un alto rendimiento tanto en las fases de prellenado como de decodificación.

El estudio compara varias implementaciones recientes, como DeepSeek Sparse Attention (DSA), GLM y Qwen QSA, destacando patrones comunes como el uso de una sola cabeza de clave y la reducción entre cabezas. Estos diseños buscan equilibrar la intensidad aritmética frente al tráfico de memoria, asegurando que el indexador no sufra escasez de datos ni se vea abrumado por operaciones de escritura. Los resultados proporcionan una guía práctica para desarrolladores que construyen modelos destinados al despliegue en contextos largos sobre infraestructura NVIDIA.

Cómo funciona

El indexador funciona como una multiplicación matricial agrupada seguida de un epílogo fusionado que incluye operaciones como ReLU y sumas ponderadas. En la fase de prellenado, la operación está limitada por el cómputo porque procesa todos los tokens de la secuencia de entrada simultáneamente. Durante la decodificación, sin embargo, el indexador puntúa solo unas pocas consultas por paso mientras transmite todo el caché de claves desde la memoria de ancho de banda alto, lo que lo hace más sensible al ancho de banda de memoria y a la intensidad aritmética.

La intensidad aritmética, definida como la ratio de operaciones de punto flotante a bytes movidos, es crítica para la utilización de los Tensor Cores. El análisis muestra que esta intensidad escala con el tamaño del grupo, que es la ratio de cabezas de consulta a cabezas de clave. Al reducir múltiples cabezas de consulta a un único logit por clave mediante la reducción entre cabezas, el sistema aumenta la cantidad de cómputo realizado por byte escrito. Este enfoque evita el crecimiento lineal del tiempo de ejecución de decodificación que ocurre al aumentar el número de cabezas de clave.

Las optimizaciones adicionales incluyen fusionar la selección Top-k directamente en el kernel del indexador. Esto elimina la necesidad de escribir logits intermedios en memoria y leerlos de nuevo para la selección. Además, usar la selección del paso de decodificación anterior como una suposición especulativa acelera significativamente el proceso Top-k. La selección a nivel de bloque también permite que la atención central obtenga claves en masa, mejorando la reutilización entre cabezas de consulta y reduciendo el tráfico de memoria.

Detalles clave

  • El indexador opera como una multiplicación matricial agrupada con un epílogo fusionado, donde la intensidad aritmética escala con el tamaño del grupo G = QH/KH.
  • Usar KH = 1 con reducción entre cabezas escribe un logit por clave, previniendo el crecimiento lineal del tiempo de ejecución de decodificación asociado con el aumento de cabezas de clave.
  • Una dimensión de cabeza del indexador de 128 o 256 ofrece el mejor equilibrio entre la utilización de Tensor Core y el tráfico de memoria de decodificación.
  • Fusionar la selección Top-k en el kernel del indexador elimina la sobrecarga de escritura y lectura de vuelta de logits, aumentando el rendimiento.
  • La decodificación especulativa usa la selección del paso anterior como suposición, acelerando la selección Top-k entre 2,1x y 2,4x.
  • La selección a nivel de bloque con bloques grandes permite que la atención central obtenga claves en masa y las comparta entre múltiples cabezas de consulta.

Por qué importa

Para ingenieros que construyen productos con capacidades de contexto largo, entender las implicaciones de hardware de la atención dispersa es esencial para un despliegue rentable. Implementar simplemente la atención dispersa sin optimizar el indexador puede llevar a un rendimiento subóptimo, ya que el coste meramente se desplaza de la atención densa a la etapa de indexación. Alineando la arquitectura del modelo con las formas tensoriales de GPU y las jerarquías de memoria, los desarrolladores pueden lograr mejoras significativas en el rendimiento.

La distinción entre comportamientos de prellenado y decodificación es particularmente importante para aplicaciones interactivas. Mientras que el prellenado está limitado por el cómputo, la decodificación suele estar limitada por el ancho de banda de memoria. Las optimizaciones que aumentan la intensidad aritmética, como la reducción entre cabezas y los kernels fusionados, ayudan a mantener ocupados los Tensor Cores durante la decodificación. Esto asegura que la latencia permanezca baja incluso cuando la ventana de contexto crece a cientos de miles de tokens.

Estas ideas también influyen en las decisiones de diseño del modelo más allá de la velocidad de inferencia. Las decisiones sobre dimensiones de cabeza, ratios de compresión y granularidad de selección impactan directamente en la eficiencia del hardware subyacente. Los desarrolladores que ignoran estos principios de co-diseño pueden encontrar que sus modelos luchan por escalar, mientras que aquellos que los siguen pueden aprovechar todo el potencial de los aceleradores de IA modernos.

Qué puedes hacer

  • Establece el recuento de cabezas de clave del indexador (KH) a 1 y usa la reducción entre cabezas para maximizar la intensidad aritmética durante la decodificación.
  • Elige una dimensión de cabeza del indexador de 128 o 256 para equilibrar el uso de Tensor Core con las restricciones de tráfico de memoria.
  • Fusiona la operación de selección Top-k en el kernel del indexador para eliminar lecturas y escrituras de memoria innecesarias.
  • Implementa la decodificación especulativa reutilizando la selección de claves del paso anterior como suposición inicial para el paso actual.
  • Usa la selección a nivel de bloque con bloques grandes para permitir que la atención central obtenga y comparta claves eficientemente entre cabezas de consulta.
  • Ejecuta operaciones en FP16 para las etapas de epílogo y acumulación para mejorar aún más el rendimiento sin sacrificar la precisión.
  • #sparse attention
  • #nvidia gpu
  • #long context
  • #transformer optimization
  • #inference engineering

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos