Ejecuta LLM en dispositivos edge con NVIDIA TensorRT Edge-LLM

NVIDIA ha publicado una guía técnica que detalla cómo ejecutar grandes modelos de lenguaje en hardware edge mediante el nuevo sistema DGX Spark 64GB. El tutorial, publicado el 30 de octubre de 2026, demuestra cómo los desarrolladores pueden prototipar y servir agentes de IA localmente con una configuración mínima. Destaca la integración de TensorRT Edge-LLM y técnicas de decodificación especulativa para maximizar el rendimiento dentro de estrictas restricciones de memoria.

Qué ocurrió

El núcleo de esta actualización es la disponibilidad de NVIDIA TensorRT Edge-LLM, un entorno de ejecución de inferencia ligero en C++ diseñado específicamente para cargas de trabajo embebidas. Esta herramienta cierra la brecha entre el desarrollo en el DGX Spark y el despliegue en plataformas edge de producción como Jetson Thor, DRIVE AGX Thor e IGX Thor. Al proporcionar un marco unificado, NVIDIA busca simplificar el proceso de migración de modelos de IA desde el prototipo hasta dispositivos físicos que supervisan la atención del conductor, coordinan robótica o gestionan flotas industriales.

El tutorial se centra en ejecutar NVIDIA Nemotron-3.5 Lightning, un modelo solo de texto, en el DGX Spark 64GB. Los desarrolladores pueden utilizar la interfaz de línea de comandos trtedge para descargar modelos y compilar motores TensorRT optimizados automáticamente. Este proceso elimina gran parte de la configuración manual típicamente requerida para la inferencia en entornos edge. La guía también muestra cómo servir el modelo a través de una API local compatible con OpenAI, permitiendo a los equipos probar aplicaciones sin necesidad de conectividad a la nube.

Una parte significativa del lanzamiento detalla las ganancias de rendimiento obtenidas mediante la decodificación especulativa DSpark. Esta técnica utiliza un modelo borrador para proponer múltiples tokens a la vez, los cuales son verificados por el modelo principal en una sola pasada. En el DGX Spark 64GB, habilitar DSpark con tres tokens de borrador aumentó la velocidad media de generación de 73.4 a 126.9 tokens por segundo en prompts de HumanEval. Crucialmente, el uso máximo de memoria permaneció estable en 27.9GB, dejando espacio para el sistema operativo y otros procesos.

Cómo funciona

TensorRT Edge-LLM opera convirtiendo definiciones de modelos de alto nivel en motores de inferencia altamente optimizados adaptados a hardware específico. La CLI trtedge realiza el trabajo pesado: descarga los pesos del modelo, como el paquete de 21GB de Nemotron-3.5 Lightning, y los compila en motores TensorRT. Estos motores se almacenan en caché localmente, por lo que las ejecuciones posteriores omiten el paso de compilación. El entorno de ejecución soporta entornos Python, permitiendo a los desarrolladores instalar el paquete vía pip mientras mantienen acceso a las bibliotecas CUDA y TensorRT a nivel de sistema.

La decodificación especulativa DSpark acelera la generación reduciendo el número de pasos secuenciales necesarios para producir texto. En lugar de generar un token a la vez, el modelo borrador predice una secuencia de tokens futuros. El modelo principal luego evalúa estas predicciones en paralelo, aceptando las correctas y corrigiendo los errores. Este método aumenta significativamente el throughput sin incrementar la huella de memoria, haciéndolo ideal para dispositivos edge donde los recursos son limitados pero la latencia es crítica.

Detalles clave

• Hardware: El tutorial utiliza la configuración NVIDIA DGX Spark 64GB.
• Stack de software: Requiere NVIDIA CUDA 13, TensorRT 10.16.1.11 o superior, y Python 3.10–3.12.
• Modelo: NVIDIA Nemotron-3.5 Lightning (30 mil millones de parámetros, cuantización NVFP4).
• Rendimiento: DSpark aumenta la velocidad media de generación a 126.9 tokens/s en prompts de HumanEval.
• Memoria: El uso máximo de memoria del sistema permanece en 27.9GB durante la inferencia con DSpark habilitado.
• API: El servidor proporciona un endpoint compatible con OpenAI para pruebas locales de aplicaciones.

Por qué importa

Para ingenieros que construyen aplicaciones de IA física, la capacidad de prototipar en hardware que refleja los objetivos de producción es crítica. Los dispositivos edge a menudo tienen presupuestos estrictos de energía y memoria que las GPUs de centros de datos no enfrentan. Al ofrecer una plataforma de desarrollo que comparte el mismo entorno de ejecución de inferencia que los objetivos de despliegue como Jetson Thor, NVIDIA reduce el riesgo de sorpresas de rendimiento al mover código al campo. Esta consistencia ayuda a los equipos a iterar más rápido sobre agentes que deben percibir y actuar en entornos en tiempo real.

Las métricas de rendimiento también destacan la madurez de las herramientas de inferencia edge. Lograr más de 120 tokens por segundo en un modelo de 30 mil millones de parámetros manteniendo la memoria por debajo de 28GB demuestra que las tareas complejas de razonamiento se están volviendo viables en hardware compacto. Esto abre nuevas posibilidades para sistemas autónomos que necesitan procesar instrucciones de lenguaje natural o generar informes localmente sin depender de conexiones intermitentes a la nube.

Qué puedes hacer

• Instala TensorRT Edge-LLM 0.11.1 en un entorno virtual en tu sistema DGX Spark.
• Verifica que tu versión de TensorRT sea 10.16.1.11 o superior antes de iniciar la compilación del motor.
• Ejecuta el comando trtedge chat para probar Nemotron-3.5 Lightning con prompts simples.
• Inicia un servidor API local usando trtedge serve para integrar el modelo en tus aplicaciones.
• Habilita la decodificación especulativa DSpark con tres tokens de borrador para aumentar la velocidad de generación.
• Explora otros modelos soportados, incluyendo opciones de visión-lenguaje y reconocimiento de voz.