Développer avec l’IA

Exécuter l'inférence DLA native en Python sur Jetson AGX Orin

NVIDIA expose cuDLA à Python via cuda-bindings 13.3.0, permettant des workflows hybrides GPU-DLA sur les plateformes Jetson AGX Orin et les ordinateurs portables RTX Spark.

Illustration d'une carte NVIDIA Jetson avec l'accélérateur DLA mis en évidence et connecté à un symbole Python.
Illustration générée pour cet article

Traduit automatiquement depuis l'original anglais.

NVIDIA a publié des liaisons Python pour le runtime cuDLA, permettant aux développeurs d'exécuter directement l'inférence de l'accélérateur d'apprentissage profond (DLA) depuis du code Python. Disponible dans la version 13.3.0 de cuda-bindings, cette mise à jour cible la plateforme Jetson AGX Orin et étend le support aux ordinateurs portables NVIDIA RTX Spark. Cette version permet des workflows hybrides où les flux CUDA coordonnent l'exécution DLA parallèlement aux tâches de prétraitement et de post-traitement sur le GPU.

Ce qui s'est passé

Le module cuda.bindings.cudla expose l'API C++ sous-jacente cuDLA à Python, éliminant le besoin de wrappers C++ lors de la gestion du matériel DLA. Cette intégration permet aux applications de décharger les opérations de réseaux neuronaux prises en charge vers le moteur DLA dédié sur les appareils Jetson Orin. En déplaçant ces opérations à fonction fixe hors du GPU, les développeurs peuvent améliorer l'efficacité énergétique et réserver la capacité du GPU pour d'autres tâches intensives en calcul.

Cette version ne prend en charge que les workflows en mode hybride, où un seul flux CUDA séquence les noyaux GPU et les tâches d'inférence DLA. Bien que le mode autonome existe dans l'API C++, les liaisons Python actuelles ne le prennent pas en charge en raison de dépendances aux primitives de tampon et de synchronisation NvSci. La même surface API s'applique à la fois aux plateformes embarquées Jetson et aux ordinateurs portables de développement RTX Spark basés sur Windows, garantissant la portabilité du code entre les différents formats.

Le workflow nécessite TensorRT uniquement pour la compilation initiale des modèles en chargeables DLA. À l'exécution, l'application repose uniquement sur libcudla.so, fourni avec JetPack. Cette séparation simplifie le déploiement, car l'environnement d'inférence n'a pas besoin de la pile TensorRT complète installée, seulement de la bibliothèque légère du runtime cuDLA.

Comment cela fonctionne

Le DLA est un accélérateur à fonction fixe conçu pour des opérations spécifiques d'apprentissage profond telles que les convolutions et le pooling. Il manque de la flexibilité d'un GPU à usage général mais offre une efficacité supérieure pour les couches prises en charge. Les liaisons Python agissent comme une fine couche générée par Cython au-dessus de l'API C++, exposant treize fonctions et neuf types de données. Les développeurs utilisent les appels standard du pilote et du runtime CUDA pour la gestion de la mémoire et la synchronisation des flux, tandis que cuDLA gère la soumission spécifique des tâches d'inférence au matériel.

Le cycle de vie de l'inférence suit neuf étapes distinctes. Premièrement, l'application initialise CUDA et crée un périphérique DLA en mode hybride. Ensuite, elle charge un binaire compilé (loadable) depuis la mémoire, introspecte les descripteurs de tenseurs pour déterminer les tailles de tampon, et alloue la mémoire GPU. Ces tampons sont ensuite enregistrés auprès du périphérique cuDLA, permettant au matériel d'y accéder. Les données d'entrée sont copiées vers le GPU, la tâche est soumise sur un flux CUDA, et l'application se synchronise pour lire les résultats. Enfin, toutes les ressources sont explicitement nettoyées.

La gestion des erreurs est intégrée au modèle d'exception de Python. Au lieu de renvoyer des codes d'erreur, les appels cuDLA lèvent des exceptions cudla.CudlaError. Cela permet aux développeurs d'utiliser des blocs standard try/finally pour le nettoyage des ressources et d'inspecter l'énumération de statut pour des raisons de défaillance spécifiques, telles que des paramètres invalides ou des délais dépassés par le matériel.

Détails clés

  • Le module cuda.bindings.cudla est inclus dans cuda-bindings version 13.3.0 et ultérieures.
  • Le mode hybride utilise les flux CUDA pour séquencer le prétraitement GPU, l'inférence DLA et le post-traitement GPU.
  • Le mode autonome n'est pas pris en charge dans les liaisons Python en raison de l'absence d'exposition des primitives NvSci.
  • La compilation du modèle nécessite TensorRT trtexec avec des drapeaux tels que --useDLACore=0 et --buildDLAStandalone.
  • L'exécution à l'exécution nécessite uniquement libcudla.so, qui fait partie de l'installation standard de JetPack.
  • L'API est identique pour les plateformes Jetson AGX Orin et les ordinateurs portables Windows NVIDIA RTX Spark.

Pourquoi c'est important

Pour les ingénieurs développant des produits d'IA en périphérie, le budget énergétique et les contraintes thermiques sont critiques. Décharger l'inférence vers le DLA réduit la charge du GPU, permettant au système d'exécuter des services supplémentaires ou de maintenir une consommation d'énergie plus faible. La possibilité de gérer cela entièrement en Python simplifie la pile de développement, éliminant la friction liée à la maintenance de services C++ séparés pour l'accélération. Ceci est particulièrement précieux pour le prototypage rapide et le déploiement sur des plateformes robotiques où la complexité logicielle doit être minimisée.

Le workflow hybride améliore également l'efficacité du pipeline. En utilisant un seul flux CUDA, les développeurs peuvent garantir que le prétraitement des données sur le GPU, l'inférence sur le DLA et le post-traitement sur le GPU se déroulent dans une séquence stricte et ordonnée sans logique de synchronisation complexe. Cela réduit la latence et empêche les conditions de course qui pourraient survenir lors de la gestion de multiples contextes d'exécution indépendants.

De plus, l'extension de cette API aux ordinateurs portables RTX Spark apporte l'optimisation de type embarqué aux environnements de développement sur bureau. Les développeurs peuvent tester et valider les workflows déchargés vers le DLA sur leurs machines locales avant le déploiement sur le matériel en périphérie. Cette parité entre les environnements de développement et de production réduit le risque de problèmes d'intégration lors du déploiement final.

Ce que vous pouvez faire

  • Installez les dernières liaisons en utilisant pip install "cuda-bindings>=13.3.0" sur votre système Jetson Orin ou RTX Spark.
  • Compilez les modèles ONNX existants en chargeables DLA en utilisant TensorRT trtexec avec le drapeau --buildDLAStandalone.
  • Refactorisez les pipelines d'inférence pour utiliser un seul flux CUDA afin de coordonner les tâches GPU et DLA.
  • Utilisez l'introspection des descripteurs de tenseurs pour allouer dynamiquement les tampons au lieu de coder les tailles en dur.
  • Implémentez des blocs try/finally pour garantir que les handles de périphérique DLA et la mémoire enregistrée sont correctement libérés.
  • Exécutez des tests unitaires sans matériel depuis le dépôt GitHub NVIDIA/cuda-python pour valider l'utilisation de l'API.
  • #nvidia
  • #jetson
  • #edge ai
  • #python
  • #inference

Outils de la Boutique Bytechap

$89

DocBento

Gestion documentaire auto-hébergée qui analyse chaque scan et répond avec des citations de pages.

Démo en ligne

Continuer la lecture

Tous les articles