音声 Speech LLM のオーディオエンコーダを圧縮する X-AuT──18 層から 16 層への削減でマクロ平均エラー率を 5.61% から 5.27% に改善

論文概要

Speech LLM（音声大規模言語モデル）の推論コストを削減するため、オーディオエンコーダの層を削減するプログレッシブなフレームワーク「X-AuT」が提案された。従来のモデル全体からの完全なブロック削除は、デコーダへ渡る埋め込みを大きく攪乱させ、削除エラーや早期のシーケンス終了エラーを引き起こす問題があった。X-AuT は、短時間のビハイビアラルプローブによるレイヤー選択、表現アラインメント、クロススケール蒸留、LoRA ファインチューニングを組み合わせることで、パラメータを削減しながらも性能を維持・向上させることに成功している。

新規性と貢献

主要な貢献は、Qwen3-ASR-0.6B のオーディオエンコーダを 18 層から 16 層、あるいは 14 層へと段階的に圧縮しつつ、精度を劣化させるどころか向上させた点にある。10 の公開されている中国語・英語のベンチマークにおいて、18 層から 16 層への削減でマクロ平均エラー率が 5.61% から 5.27% へ改善した。また、14 層モデルでは 20.7% のオーディオタワーパラメータを削減しながらも、エラー率 5.75% を達成している。

提案手法の詳細

X-AuT は、層の組み合わせを短時間のビハイビアラルプローブで選択し、表現アラインメントとクロススケール蒸留によってプルーニングされたモデルを復元するフレームワークである。言語モデルのバックボーン自体は凍結（フリーズ）させつつ、アテンション用 LoRA アダプタと結びつけられた出力埋め込みを蒸留中に適応させる。また、トランスクリプトの一貫性パイプラインから得られる最高合意度のティアを用いて学習を行い、その後のファインチューニング時にはソースの重み付け調整を行う仕組みを採用している。

評価・考察

10 種類の公開されている中国語・英語ベンチマークを用いた評価では、Qwen3-ASR-0.6B をベースとして検証が行われた。18 層から 16 層への圧縮でマクロ平均エラーが 5.61% から 5.27% に低下し、14 層への段階的プルーニング（18 $ightarrow$ 14）は、直接プルーニングの場合の 6.73% に対して 5.75% を記録し、顕著な優位性を示した。さらに、1.7B の教師モデルを用いた場合は平均エラー 5.55% となり、自己蒸留（8.45%）を大きく引き離す結果となった。一方で、ベンチマークの種類によって精度への影響度合いが異なることも報告されている。

応用例と今後の展望

音声認識や音声対話システムをクラウド上ではなくエッジデバイスやリソースが制限されたオンプレミス環境で運用する音声テック企業やコンタクトセンターにおいて、モデルのメモリフットプリントを 20% 以上削減しながら推論精度を担保できる実務インパクトを持つ。今後は、さらに多様な言語ペアや、より大規模なアーキテクチャへのスケーラビリティ検証が求められる。

結論

X-AuT は、Speech LLM のオーディオエンコーダをプログレッシブに圧縮するための堅牢なフレームワークを提供する。クロススケール蒸留と段階的なプルーニングにより、パラメータ削減と精度向上を両立できることが示された。

注釈

Speech LLM: 音声入力を直接処理・理解できる大規模言語モデル。
クロススケール蒸留: 異なるスケール（サイズや層数）のモデル間で知識を効率的に転写する手法。