NVIDIA、推論サーバー TensorRT Edge-LLM を公開──Jetson AGX Thor で MLPerf Edge Agentic ベンチマーク 6.4 倍速を達成
Jetson AGX Thor 上で Qwen3.6-27B を動かし、NVFP4 量子化とツリー型 MTP により 1,007 ターンのエージェント負荷を 24 分 36 秒で完了した。
リリース: 2026-09-16 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA は TensorRT Edge-LLM を用いて MLPerf Inference v6.1 Edge Agentic ベンチマークを検証し、llama.cpp 比 6.4 倍の高速化を達成したと発表した。
- テストには単一の Jetson AGX Thor Developer Kit（128 GB ユニファイドメモリ）と Qwen3.6-27B モデルが使用された。
- 検証ワークロードは 20 件の会話と 1,007 の生成ターンを含み、最大約 23.5K トークンの長文脈処理を伴う。
- NVFP4 量子化、KV キャッシュ再利用、ツリー型マルチトークン予測（MTP）の組み合わせにより、プロンプトトークンの約 96% がホットキャッシュで処理された。
2. 影響（Why）
- エッジでの長文脈・マルチターン実行の現実解: 会話履歴が増大するエージェント型処理において、KV キャッシュの再利用とツリー型 MTP を組み合わせることで、DRAM バンド幅がボトルネックになる低バッチ時のデコード性能を大幅に引き上げられる。
- 国内エッジ AI 実装への波及: [車載・ロボティクス開発業種] のように通信環境が制限される現場では、クラウドに依存せず単一のエッジキットで高速なツール呼び出しを完結させるための有力な実装指針となる。
3. 根拠・詳細（How）
- NVFP4 および FP8 による量子化設計: 重みと活性化関数に Blackwell GPU 対応の 4 世紀浮動小数点形式（NVFP4）を採用し、KV キャッシュには FP8 を適用してメモリフットプリントを抑制している。
- ツリー型 MTP と KV キャッシュの連携: 推論時に共通のプロンプトプレフィックスの KV ページを復元し、ハイブリッドモデルの recurrent state を維持しながら、ツリー型 MTP（8 ドラフトステップ、16 ノード検証ツリー）で複数トークンを同時に検証する。
4. 展望・課題（Next）
- リリースと実装の展開: 検証に使用されたコードベースは TensorRT-Edge-LLM の release/0.9.1-mlpinf ブランチで公開されており、公式スクリプトを通じてエンジン構築とベンチマーク実行が可能。