Développer avec l’IA

Optimisation des indexeurs d'attention sparse pour l'inférence en contexte long sur les GPU NVIDIA

Les ingénieurs de NVIDIA détaillent comment co-concevoir les indexeurs d'attention sparse afin de maximiser l'utilisation des Tensor Cores et de minimiser les goulots d'étranglement mémoire lors de l'inférence en contexte long.

Un cube en verre avec des couches de circuits lumineux représentant l'optimisation de l'attention sparse.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

Alors que les charges de travail agentiques et les grandes bases de code font passer les fenêtres de contexte de plusieurs dizaines de milliers à plusieurs centaines de milliers de tokens, les mécanismes d'attention sont devenus le principal goulot d'étranglement dans l'inférence des transformers. Des chercheurs de NVIDIA ont publié une analyse technique démontrant qu'une attention sparse efficace nécessite une co-conception soignée du composant indexeur pour s'aligner sur les contraintes matérielles du GPU. Les résultats révèlent des choix architecturaux spécifiques qui empêchent les coûts de calcul d'augmenter linéairement avec la longueur du contexte.

Ce qui s'est passé

L'attention sparse réduit la charge de calcul en limitant chaque requête à ne consulter qu'un petit sous-ensemble de clés pertinentes, plutôt que de scorer chaque token du contexte. Cependant, le processus d'identification de ces clés revient à un indexeur, qui doit toujours évaluer l'intégralité de la longueur du contexte. Dans des modèles comme DeepSeek V3.2, l'indexeur et les étapes suivantes de sélection Top-k consomment près de la moitié du temps de préremplissage par couche à 128 000 tokens, déplaçant ainsi le goulot d'étranglement de performance au lieu de l'éliminer.

L'analyse se concentre sur l'attention sparse au niveau du modèle, où la sparsité est entraînée directement dans l'architecture, ce qui la distingue des méthodes d'optimisation post-entraînement. En examinant les kernels FP8 de production, les chercheurs ont balayé divers paramètres de conception, notamment les têtes de requête, les têtes de clé, les dimensions des têtes et les ratios de compression. L'objectif était de déterminer quelles configurations exploitent le mieux le matériel GPU de NVIDIA, en particulier les Tensor Cores, pour maintenir un débit élevé durant les phases de préremplissage et de décodage.

L'étude compare plusieurs implémentations récentes, telles que DeepSeek Sparse Attention (DSA), GLM et Qwen QSA, mettant en évidence des tendances communes comme l'utilisation d'une seule tête de clé et la réduction inter-têtes. Ces conceptions visent à équilibrer l'intensité arithmétique par rapport au trafic mémoire, garantissant que l'indexeur ne manque pas de données ni n'est submergé par les opérations d'écriture. Les résultats fournissent un guide pratique pour les développeurs créant des modèles destinés au déploiement en contexte long sur l'infrastructure NVIDIA.

Comment cela fonctionne

L'indexeur fonctionne comme une multiplication matricielle par lots suivie d'un épilogue fusionné incluant des opérations telles que ReLU et des sommes pondérées. Lors de la phase de préremplissage, l'opération est limitée par le calcul car elle traite simultanément tous les tokens de la séquence d'entrée. Durant le décodage, cependant, l'indexeur ne score que quelques tokens de requête par étape tout en diffusant l'intégralité du cache de clés depuis la mémoire à large bande passante, ce qui le rend plus sensible à la bande passante mémoire et à l'intensité arithmétique.

L'intensité arithmétique, définie comme le ratio entre les opérations en virgule flottante et les octets déplacés, est cruciale pour l'utilisation des Tensor Cores. L'analyse montre que cette intensité augmente avec la taille du groupe, qui est le ratio entre les têtes de requête et les têtes de clé. En réduisant plusieurs têtes de requête à un seul logit par clé grâce à la réduction inter-têtes, le système augmente la quantité de calcul effectuée par octet écrit. Cette approche évite la croissance linéaire du temps d'exécution du décodage qui survient lorsque le nombre de têtes de clé augmente.

D'autres optimisations incluent la fusion directe de la sélection Top-k dans le kernel de l'indexeur. Cela élimine le besoin d'écrire les logits intermédiaires en mémoire puis de les relire pour la sélection. De plus, utiliser la sélection de l'étape de décodage précédente comme hypothèse spéculative accélère considérablement le processus Top-k. La sélection au niveau bloc permet également à l'attention principale de récupérer les clés en masse, améliorant leur réutilisation entre les têtes de requête et réduisant le trafic mémoire.

Détails clés

  • L'indexeur opère comme une multiplication matricielle par lots avec un épilogue fusionné, où l'intensité arithmétique augmente avec la taille du groupe G = QH/KH.
  • L'utilisation de KH = 1 avec une réduction inter-têtes écrit un logit par clé, empêchant la croissance linéaire du temps d'exécution du décodage associée à l'augmentation des têtes de clé.
  • Une dimension de tête d'indexeur de 128 ou 256 offre le meilleur équilibre entre l'utilisation des Tensor Cores et le trafic mémoire du décodage.
  • La fusion de la sélection Top-k dans le kernel de l'indexeur supprime la surcharge d'écriture et de relecture des logits, augmentant les performances.
  • Le décodage spéculatif utilise la sélection de l'étape précédente comme hypothèse, accélérant la sélection Top-k d'un facteur 2,1 à 2,4.
  • La sélection au niveau bloc avec de grands blocs permet à l'attention principale de récupérer les clés en masse et de les partager entre plusieurs têtes de requête.

Pourquoi c'est important

Pour les ingénieurs développant des produits dotés de capacités en contexte long, comprendre les implications matérielles de l'attention sparse est essentiel pour un déploiement rentable. Implémenter simplement l'attention sparse sans optimiser l'indexeur peut entraîner des performances sous-optimales, car le coût se déplace simplement de l'attention dense vers l'étape d'indexation. En alignant l'architecture du modèle sur les formes tensorielles du GPU et les hiérarchies mémoire, les développeurs peuvent obtenir des améliorations significatives du débit.

La distinction entre les comportements de préremplissage et de décodage est particulièrement importante pour les applications interactives. Alors que le préremplissage est limité par le calcul, le décodage est souvent contraint par la bande passante mémoire. Les optimisations qui augmentent l'intensité arithmétique, telles que la réduction inter-têtes et les kernels fusionnés, aident à garder les Tensor Cores occupés pendant le décodage. Cela garantit que la latence reste faible même lorsque la fenêtre de contexte s'étend à plusieurs centaines de milliers de tokens.

Ces insights influencent également les choix de conception du modèle au-delà de la simple vitesse d'inférence. Les décisions concernant les dimensions des têtes, les ratios de compression et la granularité de la sélection impactent directement l'efficacité du matériel sous-jacent. Les développeurs qui ignorent ces principes de co-conception risquent de voir leurs modèles peiner à monter en échelle, tandis que ceux qui les respectent peuvent exploiter tout le potentiel des accélérateurs IA modernes.

Ce que vous pouvez faire

  • Définissez le nombre de têtes de clé de l'indexeur (KH) sur 1 et utilisez la réduction inter-têtes pour maximiser l'intensité arithmétique pendant le décodage.
  • Choisissez une dimension de tête d'indexeur de 128 ou 256 pour équilibrer l'utilisation des Tensor Cores avec les contraintes de trafic mémoire.
  • Fusionnez l'opération de sélection Top-k dans le kernel de l'indexeur pour éliminer les lectures et écritures mémoire inutiles.
  • Implémentez le décodage spéculatif en réutilisant la sélection de clés de l'étape précédente comme hypothèse initiale pour l'étape actuelle.
  • Utilisez la sélection au niveau bloc avec de grands blocs pour permettre à l'attention principale de récupérer et partager les clés efficacement entre les têtes de requête.
  • Exécutez les opérations en FP16 pour les étapes d'épilogue et d'accumulation afin d'améliorer davantage le débit sans sacrifier la précision.
  • #sparse attention
  • #nvidia gpu
  • #long context
  • #transformer optimization
  • #inference engineering

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles