Nari Labs、音声合成モデル Qwen3-TTS 向け推論サーバー実装を公開──単一 H100 で p95 TTFA 50 ms 未満を達成
Qwen3-TTS 1.7B CustomVoice に独自スケジューラと状態キャッシュ型 Codec を導入し、秒間 10 リクエスト処理時の音声遅延を ElevenLabs の約 1/23 のコストに抑制した。
リリース: 2026-08-19 · 読了 4 分記事の要約
1. 核心（What）
- 単一の NVIDIA H100 SXM 上で Qwen3-TTS 1.7B CustomVoice を動かし、秒間 10 リクエスト（RPS）と p95 TTFA（音声出力までの時間）50 ms 未満を達成した。
- vLLM-Omni や SGLang-Omni、VoxServe など 5 つの推論エンジン実装をポアソン到着トラフィック下で比較検証した。
- 10 RPS 時の推論コストは H100 インスタンス単価 4.29 ドル/時をベースに算出し、100 万文字あたり約 2 ドルを実現した。
- 動的な無音トリムやフレーム蓄積の調整、および単一スケジューラへの統合による最適化手法をオープンソースとして公開した。
2. 影響（Why）
- API コストを 1/20 以下に落とす選択肢: 商用音声 API の料金が 100 万文字あたり 50〜100 ドルであるのに対し、約 2 ドルで同等以上の低遅延音声合成を自社インフラに構築できるため、音声対話エージェントの利益率構造が一変する。
- 音声対話 SaaS におけるコスト最適化: [国内 音声対話 SaaS 業種] のような中規模事業者は、ElevenLabs などの外部従量課金への依存を断ち、自社 VPC 内で H100 1 枚あたり 10 RPS のリアルタイム応答を回す設計に移行するインセンティブが生まれる。
3. 根拠・詳細（How）
- 3 モジュールを統合する単一スケジューラ: Talker、Code Predictor、Codec の各モジュールを独立したタスクとして切り出し、1 つのスケジューラ上で優先度制御とバッチングを動的にインターリーブする設計を採用した。
- Code Predictor の CUDA グラフ最適化: 固定 15 ステップのフレーム生成ループに対して KV キャッシュを事前割り当てし、Triton による特化アテンションカーネルで単一の CUDA グラフとして実行する。
- 状態キャッシュを活用した Codec のインクリメンタル処理: 初回音声のみフルデコードを行い、以降は Transformer コンテキストと CNN 状態をキャッシュに保持して新規到着フレームのみを処理する方式へ切り替えた。
4. 展望・課題（Next）
- マルチ GPU 環境への拡張検証: 現在は単一の NVIDIA H100 SXM でのベンチマークにとどまっており、複数 GPU や他社製アクセラレータへのスケーラビリティ検証が今後の課題となる。