Exécuter des LLM sur des périphériques edge avec NVIDIA TensorRT Edge-LLM

NVIDIA a publié un guide technique détaillant comment exécuter de grands modèles de langage (LLM) sur du matériel edge à l'aide du nouveau système DGX Spark 64GB. Le tutoriel, publié le 30 octobre 2026, montre comment les développeurs peuvent prototyper et héberger localement des agents IA avec une configuration minimale. Il met en avant l'intégration de TensorRT Edge-LLM et des techniques de décodage spéculatif pour maximiser les performances dans des contraintes mémoire strictes.

Ce qui s'est passé

Le cœur de cette mise à jour est la disponibilité de NVIDIA TensorRT Edge-LLM, un runtime d'inférence C++ léger conçu spécifiquement pour les charges de travail embarquées. Cet outil comble le fossé entre le développement sur le DGX Spark et le déploiement sur des plateformes edge de production comme Jetson Thor, DRIVE AGX Thor et IGX Thor. En fournissant un framework unifié, NVIDIA vise à simplifier le processus de migration des modèles IA du prototype vers des dispositifs physiques qui surveillent l'attention du conducteur, coordonnent la robotique ou gèrent des flottes industrielles.

Le tutoriel se concentre sur l'exécution de NVIDIA Nemotron-3.5 Lightning, un modèle uniquement textuel, sur le DGX Spark 64GB. Les développeurs peuvent utiliser l'interface en ligne de commande trtedge pour télécharger les modèles et construire automatiquement des moteurs TensorRT optimisés. Ce processus élimine une grande partie de la configuration manuelle généralement requise pour l'inférence edge. Le guide montre également comment servir le modèle via une API locale compatible OpenAI, permettant aux équipes de tester des applications sans nécessiter de connectivité cloud.

Une part importante de la publication détaille les gains de performance issus du décodage spéculatif DSpark. Cette technique utilise un modèle brouillon pour proposer plusieurs tokens à la fois, que le modèle principal vérifie ensuite en une seule passe. Sur le DGX Spark 64GB, l'activation de DSpark avec trois tokens brouillons a augmenté la vitesse moyenne de génération de 73,4 à 126,9 tokens par seconde sur les prompts HumanEval. Fait crucial, l'utilisation maximale de la mémoire est restée stable à 27,9 Go, laissant de la place pour le système d'exploitation et d'autres processus.

Comment cela fonctionne

TensorRT Edge-LLM fonctionne en convertissant les définitions de modèles de haut niveau en moteurs d'inférence hautement optimisés, adaptés à un matériel spécifique. La CLI trtedge effectue le gros du travail : elle télécharge les poids du modèle, tels que le paquet de 21 Go de Nemotron-3.5 Lightning, et les compile en moteurs TensorRT. Ces moteurs sont mis en cache localement, ce qui permet d'éviter l'étape de compilation lors des exécutions ultérieures. Le runtime prend en charge les environnements Python, permettant aux développeurs d'installer le package via pip tout en conservant l'accès aux bibliothèques CUDA et TensorRT au niveau système.

Le décodage spéculatif DSpark accélère la génération en réduisant le nombre d'étapes séquentielles nécessaires pour produire du texte. Au lieu de générer un token à la fois, le modèle brouillon prédit une séquence de tokens futurs. Le modèle principal évalue ensuite ces prédictions en parallèle, acceptant celles qui sont correctes et corrigeant les erreurs. Cette méthode augmente considérablement le débit sans augmenter l'empreinte mémoire, ce qui la rend idéale pour les dispositifs edge où les ressources sont limitées mais où la latence est critique.

Détails clés

• Matériel : Le tutoriel utilise la configuration NVIDIA DGX Spark 64GB.
• Stack logiciel : Nécessite NVIDIA CUDA 13, TensorRT 10.16.1.11 ou version plus récente, et Python 3.10–3.12.
• Modèle : NVIDIA Nemotron-3.5 Lightning (30 milliards de paramètres, quantification NVFP4).
• Performance : DSpark augmente la vitesse moyenne de génération à 126,9 tokens/s sur les prompts HumanEval.
• Mémoire : L'utilisation maximale de la mémoire système reste à 27,9 Go pendant l'inférence avec DSpark activé.
• API : Le serveur fournit un endpoint compatible OpenAI pour le test local d'applications.

Pourquoi c'est important

Pour les ingénieurs développant des applications d'IA physique, la capacité de prototyper sur un matériel qui reflète les cibles de production est cruciale. Les dispositifs edge ont souvent des budgets stricts en matière d'alimentation et de mémoire, contrairement aux GPU de centre de données. En offrant une plateforme de développement qui partage le même runtime d'inférence que les cibles de déploiement comme Jetson Thor, NVIDIA réduit le risque de surprises de performance lors du passage du code sur le terrain. Cette cohérence aide les équipes à itérer plus rapidement sur des agents qui doivent percevoir et agir dans des environnements en temps réel.

Les métriques de performance soulignent également la maturité des outils d'inférence edge. Atteindre plus de 120 tokens par seconde sur un modèle de 30 milliards de paramètres tout en maintenant la mémoire sous 28 Go démontre que les tâches de raisonnement complexes deviennent viables sur du matériel compact. Cela ouvre de nouvelles possibilités pour les systèmes autonomes qui doivent traiter des instructions en langage naturel ou générer des rapports localement sans dépendre de connexions cloud intermittentes.

Ce que vous pouvez faire

• Installez TensorRT Edge-LLM 0.11.1 dans un environnement virtuel sur votre système DGX Spark.
• Vérifiez que votre version de TensorRT est bien la 10.16.1.11 ou plus récente avant de lancer la construction du moteur.
• Exécutez la commande trtedge chat pour tester Nemotron-3.5 Lightning avec des prompts simples.
• Lancez un serveur API local en utilisant trtedge serve pour intégrer le modèle dans vos applications.
• Activez le décodage spéculatif DSpark avec trois tokens brouillons pour booster la vitesse de génération.
• Explorez d'autres modèles pris en charge, y compris les options de vision-langage et de reconnaissance vocale.