Développer avec l’IA

Exa réduit les coûts d'embedding de 47 % grâce à des kernels personnalisés sur AWS Neuron

Exa a optimisé son pipeline d'embedding pour l'index web sur les puces AWS Inferentia2 et Trainium2, parvenant à une réduction des coûts de 47 % grâce à des kernels NKI personnalisés et à des workflows agentiques.

Cartes de circuits électroniques lumineuses empilées en pyramide avec un compteur numérique au-dessus.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Exa, une entreprise qui construit un index sémantique du web, a récemment détaillé comment elle a amélioré le débit de son infrastructure d'embedding de documents de près de 50 %. En optimisant ses modèles d'apprentissage automatique pour qu'ils s'exécutent sur le matériel AWS Neuron, spécifiquement les puces Inferentia2 et Trainium2, l'équipe a considérablement réduit le coût unitaire de traitement de milliards de documents.

L'effort d'optimisation a été porté par un workflow de développement agentique qui automatisait les tests, le profilage et la génération de kernels. Cette approche a permis aux ingénieurs de supprimer systématiquement les goulots d'étranglement liés à l'utilisation de la mémoire et à l'efficacité computationnelle, aboutissant à un pipeline d'inférence plus flexible et rentable pour la recherche sémantique à grande échelle.

Ce qui s'est passé

Exa maintient l'un des rares vrais index web, agrégeant des connaissances provenant de sources publiques, privées et synthétiques pour alimenter la recherche sémantique. Le cœur de ce système est une base de données vectorielle interne qui exige que chaque document web de haute qualité soit intégré dans un espace vectoriel avant de pouvoir être servi. À l'échelle de dizaines ou centaines de milliards de documents, le coût par embedding est un facteur économique critique. Toute amélioration de l'efficacité se traduit par des économies substantielles.

La poussée vers l'optimisation a commencé lorsqu'Exa a décidé de migrer vers un modèle de document supérieur. Cela nécessitait de ré-embedder 30 milliards de documents prioritaires issus de leur corpus existant. Cette opération de backfill a temporairement doublé la charge d'embedding, car le système devait maintenir l'index en direct tout en construisant simultanément le nouveau. Cette augmentation de la demande a fourni un déclencheur clair pour réévaluer leurs choix matériels et leurs stratégies d'optimisation.

L'équipe a sélectionné les puces AWS Inferentia2 et Trainium2 pour cette charge de travail. Ces accélérateurs sont conçus respectivement pour l'inférence et l'entraînement, mais partagent la même architecture NeuronCore. Exa exécute sa charge de travail sur un seul NeuronCore par conteneur, regroupant les pods Kubernetes sur des instances plus grandes pour garantir qu'aucun core ne reste inactif. Cette stratégie assure une homogénéité des conteneurs à travers la flotte et permet au même processus d'optimisation de passer à l'échelle via le parallélisme des données sur les deux types de matériel.

Comment cela fonctionne

Le parcours d'optimisation a commencé avec une implémentation de référence utilisant une précision FP16 et un parallélisme des données standard. À partir de là, l'équipe a appliqué une série d'améliorations ciblées à l'aide du SDK Neuron. Premièrement, ils ont optimisé les dispositions des poids (weight layouts) pour éliminer les transpositions de données inutiles, alignant les poids du modèle sur la planification matérielle. Ils ont également activé l'autocast, ce qui permet au compilateur de convertir les multiplications matricielles en précision inférieure. Ce changement a préservé la plage dynamique tout en respectant une porte de correction stricte de 0,999 de similarité cosinus par rapport au modèle de référence.

Un goulot d'étranglement important est apparu dans l'accès à la mémoire. Les outils de profilage ont montré des déversements (spills) et des rechargements fréquents depuis la mémoire à large bande passante (HBM), ce qui bloquait le Tensor Engine. Pour corriger cela, les ingénieurs ont écrit un kernel MLP SwiGLU fusionné personnalisé, stationnaire en poids, en utilisant l'interface de kernel Neuron (NKI). Ce kernel personnalisé a éliminé les blocages HBM en gardant les données dans des emplacements mémoire plus rapides pendant le calcul. L'équipe a utilisé le langage NKI de haut niveau pour la plupart des opérations, ne descendant dans le jeu d'instructions de bas niveau que pour des tâches tensorielles spécifiques, ce qui a maintenu le code facile à entretenir.

Le gain de performance final est venu de la réduction des opérations en virgule flottante (FLOPS). L'équipe a remarqué que le débit chutait lorsque les deux cores d'une puce étaient actifs, indiquant une contention. Ils ont réécrit le kernel d'attention pour correspondre exactement aux formes de leur modèle, éliminant le gaspillage dû au padding et fusionnant plusieurs opérations en une seule multiplication matricielle. Cette personnalisation a réduit les opérations dans la boucle interne et les allers-retours HBM, offrant l'accélération finale.

Détails clés

  • Exa a atteint une amélioration de 47 % des performances et du coût par million de documents intégrés par rapport à la référence initiale.
  • L'optimisation visait le matériel AWS Inferentia2 et Trainium2, fonctionnant sur des NeuronCores uniques au sein de pods Kubernetes.
  • Un kernel MLP SwiGLU fusionné personnalisé a été écrit en utilisant l'interface de kernel Neuron (NKI) pour éliminer les blocages de la mémoire à large bande passante.
  • L'équipe a imposé une porte de correction de 0,999 de similarité cosinus pour garantir que la précision reste élevée malgré la conversion en précision inférieure.
  • Un workflow agentique utilisant Flyte a automatisé la compilation, la vérification de la correction et le benchmarking de chaque étape d'optimisation.
  • Les kernels d'attention ont été réécrits pour correspondre aux formes spécifiques du modèle, réduisant les FLOPS dépensés sur le padding et le traitement générique.

Pourquoi c'est important

Pour les équipes d'ingénierie développant des applications IA à grande échelle, cette étude de cas souligne l'importance de l'optimisation spécifique au matériel. Les kernels génériques et les paramètres de compilateur par défaut laissent souvent des performances significatives inexploitées. En dépassant les implémentations naïves et en écrivant des kernels personnalisés pour des architectures de modèles spécifiques, Exa a débloqué presque le double du débit. Ce niveau de réglage est essentiel lors de l'exploitation de milliards de documents, où de petites économies unitaires se traduisent par des réductions massives des coûts opérationnels.

L'utilisation d'un workflow agentique démontre également un changement dans la façon dont les systèmes complexes sont optimisés. Au lieu d'essais et erreurs manuels, Exa a utilisé des agents autonomes pour vérifier la correction, profiler les performances et générer du code. Cette méthode permet aux équipes d'itérer plus rapidement et d'explorer des hypothèses d'optimisation qui pourraient être trop fastidieuses ou complexes pour être testées manuellement par des ingénieurs humains. Elle garantit que les optimisations sont rigoureusement validées contre les normes de précision avant le déploiement.

De plus, l'optimisation pour des pools de calcul flexibles comme le matériel AWS Neuron permet aux organisations d'éviter l'enfermement fournisseur (vendor lock-in) et les pénuries régionales. En rendant leur charge de travail efficace sur plusieurs types d'instances et régions, Exa peut planifier le calcul en fonction du prix et de la disponibilité en temps réel. Cette flexibilité est cruciale pour maintenir les niveaux de service et contrôler les coûts dans un marché cloud volatil.

Ce que vous pouvez faire

  • Profilez vos charges de travail d'inférence pour identifier les goulots d'étranglement mémoire, tels que les déversements HBM, avant de tenter l'optimisation de kernel.
  • Évaluez l'interface de kernel Neuron (NKI) pour écrire des kernels fusionnés personnalisés si les bibliothèques standard ne répondent pas à vos besoins de performance.
  • Implémentez des portes de correction strictes, telles que des seuils de similarité cosinus, pour expérimenter en toute sécurité avec des types de données de précision inférieure.
  • Envisagez d'utiliser des workflows agentiques pour automatiser les tests et le benchmarking des optimisations de modèles, réduisant ainsi l'effort manuel.
  • Alignez les dispositions des poids sur la planification matérielle pour éliminer les transpositions de données inutiles lors de l'exécution du modèle.
  • Personnalisez les kernels d'attention pour correspondre aux formes spécifiques de votre modèle, éliminant le gaspillage dû au padding et réduisant les FLOPS.
  • #aws neuron
  • #kernel optimization
  • #semantic search
  • #machine learning ops
  • #cost optimization

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles