LLMs auf Edge-Geräten mit NVIDIA TensorRT Edge-LLM ausführen

NVIDIA hat einen technischen Leitfaden veröffentlicht, der beschreibt, wie große Sprachmodelle auf Edge-Hardware unter Verwendung des neuen Systems DGX Spark 64GB ausgeführt werden können. Das am 30. Oktober 2026 veröffentlichte Tutorial zeigt, wie Entwickler KI-Agenten lokal prototypisieren und bereitstellen können, wobei nur ein minimaler Setup-Aufwand erforderlich ist. Es hebt die Integration von TensorRT Edge-LLM und Techniken des spekulativen Decodings hervor, um die Leistung innerhalb enger Speicherbeschränkungen zu maximieren.

Was passiert ist

Der Kern dieses Updates ist die Verfügbarkeit von NVIDIA TensorRT Edge-LLM, einer leichten C++-Inferenz-Runtime, die speziell für eingebettete Workloads entwickelt wurde. Dieses Tool überbrückt die Lücke zwischen der Entwicklung auf dem DGX Spark und der Bereitstellung auf Produktions-Edge-Plattformen wie Jetson Thor, DRIVE AGX Thor und IGX Thor. Durch die Bereitstellung eines einheitlichen Frameworks zielt NVIDIA darauf ab, den Prozess der Überführung von KI-Modellen vom Prototyp auf physische Geräte zu vereinfachen, die die Aufmerksamkeit von Fahrern überwachen, Robotik koordinieren oder industrielle Flotten verwalten.

Das Tutorial konzentriert sich auf die Ausführung von NVIDIA Nemotron-3.5 Lightning, einem reinen Textmodell, auf dem DGX Spark 64GB. Entwickler können die Befehlszeilenschnittstelle trtedge nutzen, um Modelle herunterzuladen und automatisch optimierte TensorRT-Engines zu erstellen. Dieser Prozess eliminiert einen Großteil der manuellen Konfiguration, die für Edge-Inferenz typischerweise erforderlich ist. Der Leitfaden zeigt außerdem, wie das Modell über eine lokale OpenAI-kompatible API bereitgestellt wird, sodass Teams Anwendungen ohne Cloud-Konnektivität testen können.

Ein wesentlicher Teil der Veröffentlichung befasst sich mit den Leistungssteigerungen durch DSpark spekulatives Decoding. Diese Technik nutzt ein Entwurfsmodell (Draft Model), um mehrere Tokens gleichzeitig vorzuschlagen, die dann vom Hauptmodell in einem einzigen Durchlauf überprüft werden. Auf dem DGX Spark 64GB erhöhte die Aktivierung von DSpark mit drei Entwurf-Tokens die durchschnittliche Generierungsgeschwindigkeit bei HumanEval-Prompts von 73,4 auf 126,9 Tokens pro Sekunde. Entscheidend dabei war, dass die maximale Speichernutzung stabil bei 27,9 GB blieb, was ausreichend Platz für das Betriebssystem und andere Prozesse lässt.

Wie es funktioniert

TensorRT Edge-LLM arbeitet, indem hochlevelige Modelldefinitionen in hochoptimierte Inferenz-Engines umgewandelt werden, die auf spezifische Hardware zugeschnitten sind. Die CLI trtedge übernimmt die schwere Arbeit: Sie lädt die Modellgewichte herunter, wie etwa das 21 GB große Paket Nemotron-3.5 Lightning, und kompiliert sie in TensorRT-Engines. Diese Engines werden lokal zwischengespeichert, sodass nachfolgende Ausführungen den Kompilierungsschritt überspringen. Die Runtime unterstützt Python-Umgebungen, wodurch Entwickler das Paket über pip installieren können, während der Zugriff auf systemseitige CUDA- und TensorRT-Bibliotheken erhalten bleibt.

DSpark spekulatives Decoding beschleunigt die Generierung, indem es die Anzahl der sequenziellen Schritte reduziert, die zur Textproduktion erforderlich sind. Anstatt Token für Token zu generieren, sagt das Entwurfsmodell eine Sequenz zukünftiger Tokens voraus. Das Hauptmodell bewertet diese Vorhersagen dann parallel, akzeptiert korrekte Ergebnisse und korrigiert Fehler. Diese Methode steigert den Durchsatz erheblich, ohne den Speicherbedarf zu erhöhen, was sie ideal für Edge-Geräte macht, bei denen Ressourcen begrenzt sind, aber Latenz kritisch ist.

Wichtige Details

• Hardware: Das Tutorial verwendet die NVIDIA DGX Spark 64GB Konfiguration.
• Software-Stack: Erfordert NVIDIA CUDA 13, TensorRT 10.16.1.11 oder neuer sowie Python 3.10–3.12.
• Modell: NVIDIA Nemotron-3.5 Lightning (30B Parameter, NVFP4 Quantisierung).
• Leistung: DSpark erhöht die durchschnittliche Generierungsgeschwindigkeit auf 126,9 Tokens/s bei HumanEval-Prompts.
• Speicher: Die maximale System-Speichernutzung bleibt während der Inferenz mit aktiviertem DSpark bei 27,9 GB.
• API: Der Server bietet einen OpenAI-kompatiblen Endpunkt für lokale Anwendungstests.

Warum das wichtig ist

Für Ingenieure, die physische KI-Anwendungen entwickeln, ist die Fähigkeit, auf Hardware zu prototypisieren, die den Produktionszielen entspricht, entscheidend. Edge-Geräte haben oft strenge Leistungs- und Speicherbudgets, denen GPUs in Rechenzentren nicht ausgesetzt sind. Indem NVIDIA eine Entwicklungsplattform anbietet, die dieselbe Inferenz-Runtime wie Bereitstellungsziele wie Jetson Thor teilt, reduziert NVIDIA das Risiko von Leistungsüberraschungen beim Übertragen des Codes ins Feld. Diese Konsistenz hilft Teams, schneller an Agenten zu iterieren, die Umgebungen in Echtzeit wahrnehmen und darauf reagieren müssen.

Die Leistungsmetriken unterstreichen auch die Reife der Tools für Edge-Inferenz. Mehr als 120 Tokens pro Sekunde auf einem Modell mit 30 Milliarden Parametern zu erreichen, während der Speicher unter 28 GB gehalten wird, demonstriert, dass komplexe Reasoning-Aufgaben auf kompakten Hardware-Lösungen zunehmend machbar werden. Dies eröffnet neue Möglichkeiten für autonome Systeme, die natürliche Sprachanweisungen verarbeiten oder Berichte lokal generieren müssen, ohne auf intermittierende Cloud-Verbindungen angewiesen zu sein.

Was Sie tun können

• Installieren Sie TensorRT Edge-LLM 0.11.1 in einer virtuellen Umgebung auf Ihrem DGX Spark System.
• Stellen Sie sicher, dass Ihre TensorRT-Version 10.16.1.11 oder neuer ist, bevor Sie mit dem Engine-Build beginnen.
• Führen Sie den Befehl trtedge chat aus, um Nemotron-3.5 Lightning mit einfachen Prompts zu testen.
• Starten Sie einen lokalen API-Server mit trtedge serve, um das Modell in Ihre Anwendungen zu integrieren.
• Aktivieren Sie DSpark spekulatives Decoding mit drei Entwurf-Tokens, um die Generierungsgeschwindigkeit zu steigern.
• Erkunden Sie weitere unterstützte Modelle, einschließlich Optionen für Vision-Language und Spracherkennung.