NVIDIA、マルチモーダルモデル Nemotron-Labs-Audex-30B-A3B を公開──音声とテキストの推論能力を両立
Nemotron-Cascade-2-30B-A3B を基盤とし、テキスト推論性能を維持しつつ音声理解・生成の統合を実現した 30B パラメータの MoE モデル。
リリース: 2026-07-06 · 読了 5 分記事の要約
1. 核心（What）
- 音声トークン語彙の拡張と専用エンコーダーの追加により、音声とテキストのマルチモーダル入出力を実現
- 思考プロセスを <think> タグで制御する「Thinking mode」と、即時応答する「Instruct mode」の 2 形態をサポート
- XCodec1 および XCodec2 を用いた音声生成パイプラインを統合し、テキストからの音声合成および音声生成をサポート
2. 影響（Why）
- 推論性能の維持: ベースモデルの Nemotron-Cascade-2-30B-A3B が持つ推論能力を損なうことなく、音声タスクを追加。モデルの切り替えコストを削減し、一貫した論理的応答が可能になる。
- 国内導入の優位性: 日本語を含む多言語音声処理において、単一の MoE アーキテクチャで推論と音声生成を完結できるため、国内の音声対話サービスにおけるインフラ運用コストの最適化に寄与する。
3. 根拠・詳細（How）
- vLLM による推論実行: vLLM 0.20.0 コンテナ環境で動作し、--tensor-parallel-size 8 を指定することで大規模な推論処理を並列化可能。音声入力は python3 -m pip install "vLLM[audio]" でデコード環境を構築する。
- 音声生成パイプライン: XCodec1 を用いた生成処理において、cfg-scale 3.0 および top-k 80 の設定で推論を実行。生成波形に対しては 48 kHz Enhancement VAE を適用することで品質を向上させる。
4. 展望・課題（Next）
- ライセンス制限: NVIDIA Oneway Noncommercial License のため、商用利用には制限がある。実務投入時はライセンス条項の再確認が必須。