音声生成と編集を統合したオープンソース基盤モデル AuK──30億の指示音声データと4ステップ推論で高速化を実現

論文概要

AuKは、自然言語指示と音声コンテキストを用いた共通インターフェースにより、音声生成と編集を統合するオープンソースの基盤モデルである。約30.3億の指示音声インスタンスと195万時間の有効なスーパービジョンデータを用いて訓練され、ゼロショットでの音声生成や指示駆動型の音声編集において優れた性能を示す。また、蒸留手法の適用により、4ステップでの高速推論を達成している。

新規性と貢献

本研究の主要な貢献は、音声生成、コンテンツ編集、音質強調・分離、パラリンガスティック編集、音響編集という5つのタスクファミリーをカバーする約30.3億の指示音声データセットの構築と、それらを統合処理する基盤モデルの設計にある。オープンソースとしてコードやモデルウェイトが公開されており、今後の音声AI研究の発展に寄与する。

提案手法の詳細

AuKは、意味的条件付けのためのマルチモーダル大規模言語モデル、音声・一般オーディオ・音楽を共同訓練したVAEによる音響的条件付け、そしてデュアルストリームMMDiTブロックと単一ストリームDiTブロックを組み合わせたハイブリッド rectified-flow Transformerを統合している。訓練は生成のみのウォームアップから開始し、共同生成・編集の事前学習へと進む。さらに、人間のフィードバックに基づく選好最適化や報酬ベースの強化学習を適用し、推論コスト削減のため一貫性初期化とタスクルーティングされたDecoupled DMDによるモデル蒸留を行っている。

評価・考察

実験により、AuKはゼロショットおよび指示制御された音声生成、汎用的な指示駆動型編集において優れた性能を発揮することが示されている。信号レベルの復元タスクにおいても競合優位性を維持しており、特に蒸留モデルであるAuK-Flashは分類器フリーガイダンスなしで4ステップの推論を行い、同等条件下でフルモデルと比較して4.5倍の壁時計時間における高速化を実現している。

応用例と今後の展望

音声アシスタントの開発やコンテンツ制作の現場において、自然言語の指示による柔軟な音声編集・生成パイプラインの実装が可能となる。音声メディアやコールセンター等の日本語音声処理サービスにおいて、インタラクティブな音声生成・編集機能の迅速なプロトタイピングや実システムへの組み込みが進むと見込まれる。

結論

AuKは、音声生成と編集の多様なタスクを単一のオープンソース基盤モデルとして統合することに成功し、大規模なデータ構築と効率的な推論手法により高い実用性と性能の両立を実現した。

注釈

Rectified-flow Transformer: 生成モデルの軌道を直線化し、少ないステップ数で高品質な生成を可能にするアーキテクチャ。
Decoupled DMD (Distribution Matching Distillation): 教師モデルの分布を効率的に模倣するための蒸留手法。