Construir con IA

Exa reduce los costes de incrustación en un 47% con kernels personalizados en AWS Neuron

Exa optimizó su pipeline de incrustación del índice web en chips AWS Inferentia2 y Trainium2, logrando una reducción de costes del 47% mediante kernels NKI personalizados y flujos de trabajo agénticos.

Placas de circuito brillantes apiladas en pirámide con un contador digital encima.
Ilustración generada para este artículo

Traducido automáticamente del original en inglés.

Exa, una empresa que desarrolla un índice semántico de la web, detalló recientemente cómo mejoró el rendimiento de su infraestructura de incrustación de documentos en casi un 50%. Al optimizar sus modelos de aprendizaje automático para ejecutarse en hardware AWS Neuron, específicamente en chips Inferentia2 y Trainium2, el equipo redujo significativamente el coste unitario de procesar miles de millones de documentos.

El esfuerzo de optimización fue impulsado por un flujo de desarrollo agéntico que automatizaba las pruebas, el perfilado y la generación de kernels. Este enfoque permitió a los ingenieros eliminar sistemáticamente cuellos de botella en el uso de memoria y la eficiencia computacional, resultando en un pipeline de inferencia más flexible y rentable para la búsqueda semántica a gran escala.

Qué ocurrió

Exa mantiene uno de los pocos índices web verdaderos, agregando conocimiento de fuentes públicas, privadas y sintéticas para impulsar la búsqueda semántica. El núcleo de este sistema es una base de datos vectorial propia que requiere que cada documento web de alta calidad sea incrustado en un espacio vectorial antes de poder ser servido. A la escala de decenas o cientos de miles de millones de documentos, el coste por incrustación es un factor económico crítico. Cualquier mejora en la eficiencia se traduce en ahorros sustanciales acumulados.

La búsqueda de optimización comenzó cuando Exa decidió migrar a un modelo de documentos superior. Esto requirió re-incrustar 30 mil millones de documentos de alta prioridad de su corpus existente. Esta operación de relleno temporal duplicó la carga de incrustación, ya que el sistema debía mantener el índice activo mientras simultáneamente construía el nuevo. Este pico en la demanda proporcionó un claro detonante para reevaluar sus opciones de hardware y estrategias de optimización.

El equipo seleccionó los chips AWS Inferentia2 y Trainium2 para esta carga de trabajo. Estos aceleradores están diseñados para inferencia y entrenamiento, respectivamente, pero comparten la misma arquitectura NeuronCore. Exa ejecuta su carga de trabajo en un solo NeuronCore por contenedor, empaquetando pods de Kubernetes en instancias más grandes para garantizar que ningún núcleo quede ocioso. Esta estrategia proporciona homogeneidad de contenedores en toda la flota y permite que el mismo proceso de optimización escale mediante paralelismo de datos en ambos tipos de hardware.

Cómo funciona

El viaje de optimización comenzó con una implementación base utilizando precisión FP16 y paralelismo de datos estándar. A partir de ahí, el equipo aplicó una serie de mejoras específicas utilizando el SDK de Neuron. Primero, optimizaron los diseños de pesos para eliminar transposiciones de datos innecesarias, alineando los pesos del modelo con la programación del hardware. También habilitaron autocast, lo que permite al compilador reducir la precisión de las multiplicaciones matriciales. Este cambio preservó el rango dinámico mientras cumplía con un umbral estricto de corrección de similitud coseno de 0.999 frente al modelo de referencia.

Un cuello de botella significativo surgió en el acceso a la memoria. Las herramientas de perfilado mostraron frecuentes volcados y recargas desde la memoria de alto ancho de banda (HBM), lo que detenía el Tensor Engine. Para solucionar esto, los ingenieros escribieron un kernel MLP SwiGLU fusionado personalizado con pesos estacionarios utilizando la Interfaz de Kernel de Neuron (NKI). Este kernel personalizado eliminó los bloqueos de HBM manteniendo los datos en ubicaciones de memoria más rápidas durante el cálculo. El equipo utilizó el lenguaje NKI de nivel superior para la mayoría de las operaciones, descendiendo al conjunto de instrucciones de bajo nivel solo para tareas tensoriales específicas, lo que mantuvo el código mantenible.

La ganancia final de rendimiento provino de la reducción de operaciones de punto flotante (FLOPS). El equipo notó que el rendimiento caía cuando ambos núcleos de un chip estaban activos, indicando contención. Reescribieron el kernel de atención para coincidir exactamente con las formas de su modelo, eliminando el desperdicio de relleno y fusionando múltiples operaciones en multiplicaciones matriciales únicas. Esta personalización redujo las operaciones del bucle interno y los viajes de ida y vuelta a HBM, entregando la aceleración final.

Detalles clave

  • Exa logró una mejora del 47% en el rendimiento y el coste por millón de documentos incrustados en comparación con la línea base inicial.
  • La optimización apuntó al hardware AWS Inferentia2 y Trainium2, ejecutándose en NeuronCores individuales dentro de pods de Kubernetes.
  • Se escribió un kernel MLP SwiGLU fusionado personalizado utilizando la Interfaz de Kernel de Neuron (NKI) para eliminar los bloqueos de memoria de alto ancho de banda.
  • El equipo impuso un umbral de corrección de similitud coseno de 0.999 para asegurar que la precisión permaneciera alta a pesar de la reducción de precisión.
  • Un flujo de trabajo agéntico utilizando Flyte automatizó la compilación, la verificación de corrección y la evaluación comparativa de cada paso de optimización.
  • Los kernels de atención fueron reescritos para coincidir con formas específicas del modelo, reduciendo los FLOPS gastados en relleno y manejo genérico.

Por qué importa

Para equipos de ingeniería que construyen aplicaciones de IA a gran escala, este estudio de caso destaca la importancia de la optimización específica de hardware. Los kernels genéricos y la configuración predeterminada del compilador a menudo dejan un rendimiento significativo sobre la mesa. Al ir más allá de implementaciones ingenuas y escribir kernels personalizados para arquitecturas de modelos específicas, Exa desbloqueó casi el doble de rendimiento. Este nivel de ajuste es esencial cuando se opera con miles de millones de documentos, donde pequeños ahorros unitarios se traducen en enormes reducciones de costes operativos.

El uso de un flujo de trabajo agéntico también demuestra un cambio en cómo se optimizan los sistemas complejos. En lugar de prueba y error manual, Exa utilizó agentes autónomos para verificar la corrección, perfilar el rendimiento y generar código. Este método permite a los equipos iterar más rápido y explorar hipótesis de optimización que podrían ser demasiado tediosas o complejas para que los ingenieros humanos las prueben manualmente. Garantiza que las optimizaciones sean rigurosamente validadas contra estándares de precisión antes del despliegue.

Además, optimizar para pools de cómputo flexibles como el hardware AWS Neuron permite a las organizaciones evitar el bloqueo de proveedor y las escaseces regionales. Al hacer que su carga de trabajo sea eficiente en múltiples tipos de instancia y regiones, Exa puede programar el cómputo basándose en el precio y la disponibilidad en tiempo real. Esta flexibilidad es crucial para mantener los niveles de servicio y controlar los costes en un mercado cloud volátil.

Qué puedes hacer

  • Perfilá tus cargas de trabajo de inferencia para identificar cuellos de botella de memoria, como volcados de HBM, antes de intentar la optimización de kernels.
  • Evalúa la Interfaz de Kernel de Neuron (NKI) para escribir kernels fusionados personalizados si las bibliotecas estándar no cumplen tus necesidades de rendimiento.
  • Implementa umbrales estrictos de corrección, como límites de similitud coseno, para experimentar de forma segura con tipos de datos de menor precisión.
  • Considera usar flujos de trabajo agénticos para automatizar las pruebas y la evaluación comparativa de optimizaciones de modelos, reduciendo el esfuerzo manual.
  • Alinea los diseños de pesos con la programación del hardware para eliminar transposiciones de datos innecesarias durante la ejecución del modelo.
  • Personaliza los kernels de atención para que coincidan con las formas específicas de tu modelo, eliminando el desperdicio de relleno y reduciendo los FLOPS.
  • #aws neuron
  • #kernel optimization
  • #semantic search
  • #machine learning ops
  • #cost optimization

Herramientas de la Tienda de Bytechap

$89

DocBento

Gestión documental autoalojada que lee cada escaneo y responde con citas de página.

Demo en vivo
$79

WorkBento

Suite de RR. HH. y gestión del entorno laboral impulsada por IA que puedes alojar tú mismo.

Demo en vivo

Seguir leyendo

Todos los artículos