NVIDIA、推論特化型音声対話モデル NVIDIA-NemotronLabs-VoiceChat-11B を公開──11B パラメータで全二重リアルタイム会話とツール呼び出しを両立
従来のカスケード構成を廃し、11B の単一アーキテクチャでストリーミング音声理解と生成を統合。オープンモデルとして初めて会話フローを維持したツール呼び出しを実現した。
リリース: 2024-10-22 · 読了 3 分記事の要約
1. 核心（What）
- NVIDIA-NemotronLabs-VoiceChat-11B は、音声信号を直接処理してリアルタイムの全二重対話を行う 11B パラメータの音声モデルである。
- Fast Conformer エンコーダー、Nemotron Nano V2 9B LLM バックボーン、TTS デコーダーを統合したハイブリッドアーキテクチャを採用している。
- オープンな全二重モデルとして初めて、ツール実行中も会話の自然さを維持しながらツール呼び出しを実行できる。
- 音声トレーニングデータには、Nemotron テキストデータや LibriVox など約 55万時間が投入されている。
2. 影響（Why）
- 遅延削減とシステム単純化: 従来の逐次的な音声処理パイプラインを単一モデルに統合することで、API ホップ数を削減し、リアルタイムな割込みやターンテイキングを実現する。
- 国内音声システムのオンプレ展開: 商用 API に依存していた音声対話システムのコスト構造を見直し、H100 等の自社 GPU 環境で同等水準のリアルタイム応答を実装できる。
3. 根拠・詳細（How）
- ハイブリッドアーキテクチャとエンジン: Fast Conformer 音声エンコーダーと Nemotron Nano V2 LLM を組み合わせ、vLLM を実行エンジンとして活用することで高速な推論を実現している。
- 専用のツール呼び出し出力: テキストや音声の生成チャンネルとは別に独立した出力チャネルを設け、ツール実行スクリプトの予測と待機中メッセージの発話を両立させる。
4. 展望・課題（Next）
- 研究目的での利用と評価: オープンモデルとして研究目的に特化して公開されており、今後は VoiceBench や Full-Duplex-Bench などのベンチマークを通じた性能検証が進む。