NVIDIA TensorRT Edge-LLMでエッジデバイスにLLMを実行

NVIDIAは、新しいDGX Spark 64GBシステムを使用してエッジハードウェア上で大規模言語モデル（LLM）を実行する方法を詳述した技術ガイドを公開しました。2026年10月30日に発表されたこのチュートリアルでは、開発者が最小限の設定でAIエージェントをローカルでプロトタイプし、提供できることを示しています。また、厳しいメモリ制約の中でパフォーマンスを最大化するために、TensorRT Edge-LLMと推測デコーディング技術を統合している点も強調されています。

何が起きたか

今回の更新の核心は、NVIDIA TensorRT Edge-LLMの提供開始です。これは埋め込みワークロード専用に設計された軽量なC++推論ランタイムです。このツールは、DGX Sparkでの開発から、Jetson Thor、DRIVE AGX Thor、IGX Thorなどの本番用エッジプラットフォームへの展開までのギャップを埋めます。統一されたフレームワークを提供することで、NVIDIAはドライバーの注意監視、ロボティクスの調整、産業用フリートの管理などを行う物理デバイスへAIモデルをプロトタイプから移行するプロセスを簡素化することを目指しています。

チュートリアルでは、テキスト専用モデルであるNVIDIA Nemotron-3.5 LightningをDGX Spark 64GB上で実行することに焦点を当てています。開発者はtrtedgeコマンドラインインターフェースを使用してモデルをダウンロードし、最適化されたTensorRTエンジンを自動的にビルドできます。これにより、エッジ推論で通常必要とされる手動設定の多くが不要になります。ガイドではさらに、ローカルのOpenAI互換APIを通じてモデルを提供する方法も紹介しており、チームはクラウド接続なしでアプリケーションをテストできます。

リリースの一部では、DSpark推測デコーディングによるパフォーマンス向上について詳しく説明されています。この手法では、ドラフトモデルが複数のトークンを一度に提案し、メインモデルがそれを単一のパスで検証します。DGX Spark 64GB上では、3つのドラフトトークンでDSparkを有効にすることで、HumanEvalプロンプトにおける平均生成速度が73.4トークン/秒から126.9トークン/秒に増加しました。重要なのは、ピークメモリ使用量が27.9GBで安定しており、オペレーティングシステムや他のプロセス用の余地が残されている点です。

仕組み

TensorRT Edge-LLMは、高レベルのモデル定義を特定のハードウェア向けに高度に最適化された推論エンジンに変換して動作します。trtedge CLIが主要な処理を担当します。例えば21GBのNemotron-3.5 Lightningパッケージのようなモデル重みをダウンロードし、TensorRTエンジンにコンパイルします。これらのエンジンはローカルにキャッシュされるため、以降の実行ではコンパイルステップがスキップされます。ランタイムはPython環境をサポートしており、開発者はpip経由でパッケージをインストールしつつ、システムレベルのCUDAおよびTensorRTライブラリへのアクセスを維持できます。

DSpark推測デコーディングは、テキスト生成に必要な逐次ステップの数を減らすことで生成を高速化します。トークンを1つずつ生成する代わりに、ドラフトモデルが将来のトークンのシーケンスを予測します。その後、メインモデルがこれらの予測を並列で評価し、正しいものを採用してエラーを修正します。この方法により、メモリフットプリントを増やすことなくスループットを大幅に向上させることができるため、リソースは限られていますがレイテンシが重要なエッジデバイスに理想的です。

主な詳細

• ハードウェア: チュートリアルではNVIDIA DGX Spark 64GB構成を使用しています。
• ソフトウェアスタック: NVIDIA CUDA 13、TensorRT 10.16.1.11以降、およびPython 3.10–3.12が必要です。
• モデル: NVIDIA Nemotron-3.5 Lightning（30Bパラメータ、NVFP4量子化）。
• パフォーマンス: DSparkにより、HumanEvalプロンプトでの平均生成速度が126.9トークン/秒に向上します。
• メモリ: DSparkを有効にした推論中のピークシステムメモリ使用量は27.9GBのままです。
• API: サーバーはローカルアプリケーションテスト用のOpenAI互換エンドポイントを提供します。

なぜ重要なのか

物理的なAIアプリケーションを構築するエンジニアにとって、本番ターゲットを模倣したハードウェアでプロトタイプを作成できる能力は極めて重要です。エッジデバイスは、データセンターGPUが直面しない厳格な電力およびメモリ予算を持つことがよくあります。Jetson Thorなどの展開ターゲットと同じ推論ランタイムを共有する開発プラットフォームを提供することで、NVIDIAはコードを現場へ移動する際の予期せぬパフォーマンス低下のリスクを低減します。この一貫性により、チームはリアルタイム環境で知覚し行動する必要があるエージェントに対する反復作業をより迅速に行えます。

パフォーマンス指標は、エッジ推論ツールの成熟度も浮き彫りにしています。メモリを28GB未満に抑えながら、300億パラメータのモデルで毎秒120トークン以上を達成することは、複雑な推論タスクがコンパクトなハードウェア上で実現可能になりつつあることを示しています。これは、断続的なクラウド接続に依存せずに自然言語指示を処理したりレポートをローカルで生成したりする必要がある自律型システムに新たな可能性を開きます。

できること

• DGX Sparkシステムの仮想環境にTensorRT Edge-LLM 0.11.1をインストールします。
• エンジンのビルドを開始する前に、TensorRTバージョンが10.16.1.11以降であることを確認します。
• trtedge chatコマンドを実行して、シンプルなプロンプトでNemotron-3.5 Lightningをテストします。
• trtedge serveを使用してローカルAPIサーバーを開始し、モデルをアプリケーションに統合します。
• 3つのドラフトトークンでDSpark推測デコーディングを有効にして、生成速度を向上させます。
• ビジョン言語や音声認識オプションを含む、サポートされている他のモデルを検討します。