NVIDIA、推論ベンチマークツール AIPerf を公開──マルチプロセス処理で高負荷時のクライアントボトルネックを解消
GenAI-Perf の後継としてフルスクラッチで開発され、ZMQ を用いたマルチプロセス処理により GIL の制約を回避して正確なサーバー負荷計測を実現した。
リリース: 2026-09-18 · 読了 3 分記事の要約
1. 核心（What）
- GenAI-Perf をゼロから書き直した LLM 推論専用の負荷計測クライアント AIPerf が公開された。
- Worker プロセス群と結果プロセッササービスを ZMQ で連携するマルチプロセスアーキテクチャを採用している。
- 定常状態だけでなく、Poisson 分布やガンマ分布を用いた動的なリクエスト到着パターンの制御が可能である。
- TTFT、ITL、リクエストレイテンシ、出力トークンスループットをパーセンタイル別に自動集計する。
2. 影響（Why）
- クライアント側ボトルネックの解消: Python の GIL に起因する並行処理の限界をマルチプロセス化で克服し、高負荷時でもクライアント自体がボトルネックにならない正確な計測を可能にする。
- 本番環境に近いトラフィック再現: 固定長テストだけでなく、可変長のプロンプトやポアソン到着によるトラフィックを再現できるため、本番稼働時のキューイング挙動を正確に予測できる。
3. 根拠・詳細（How）
- マルチプロセス通信とアーキテクチャ: Perf Analyzer ベースの旧構造を完全に排除し、Worker プロセスと結果プロセッサを ZMQ で協調させることで大規模なリクエスト生成を安定して処理する。
- 統合テレメトリーの取得機構: DCGM または pynvml を介して GPU メモリ消費量や電力描画を負荷計測結果と同一のタイムラインで記録し、パフォーマンス低下とリソース枯渇の相関分析を容易にする。
4. 展望・課題（Next）
- エコシステムの移行: GenAI-Perf からの移行ガイドが提供されており、既存のワークフローを AIPerf へ移行するための改修が進められている。