MUNITE: 任意のマルチモーダル生成を単一の条件付きフローで統合する潜在推論フレームワーク

論文概要

Kyeongmin Yeo 氏および Minhyuk Sung 氏による本研究では、任意のマルチモーダル生成（Any-to-Any Multimodal Generation）に向けた新しい潜在変数フレームワーク「MUNITE」が提案されている。MUNITE は、エンコーディングと潜在生成を、観測される証拠（evidence）の量が異なる同一の推論問題として扱う。PolyMNIST-D-Q、FFHQ64、および画像・テキスト・音声の各データセットを用いた実験において、MUNITE は既存手法と同等以上の生成品質およびソース・ターゲット間の整合性を達成し、すべての 1 対多および無条件の画像・テキスト・音声の比較において最も高い一貫性を示した。

関連研究

従来のマルチモーダル生成モデルは、特定のモーダル間の変換や固定された入力構造に依存することが多く、任意の入力から任意の出力を柔軟に生成する統一的な枠組みの構築が課題となっていた。本研究は、条件付きフローマッチングを拡張することで、不完全な観測データからも効率的に学習を行うアプローチを導入し、従来の手法が抱える柔軟性の限界を克服する。

新規性と貢献

MUNITE の最大の新規性は、完全な観測データの決定論的エンコーディングから、観測のない潜在周辺分布の推定、そしてその中間的な部分集合の条件付き潜在推論までを、単一の条件付きフローモデル内で統一的に扱える点にある。これにより、不完全なトレーニングデータからでも自己蒸留を通じて効率的に学習することが可能となり、多様なマルチモーダル設定における結合生成の一貫性が大幅に向上した。

提案手法の詳細

MUNITE は、共有される潜在サンプルを用いて生成ターゲット間で一貫性を維持するべき変動を捉え、一方でモーダル固有の生成デコーダーが残りの不確実性を独立にモデル化する構成をとる。不完全な学習サンプルからこれらの条件付き分布を学習するため、より豊富な観測に基づく予測を用いて、同じ中間潜在状態におけるより小さな部分集合に基づくモデルを指導する「自己蒸留を通じた条件付きフローマッチング」を拡張している。

評価・考察

PolyMNIST-D-Q、FFHQ64、および画像・テキスト・音声の評価において、MUNITE は競合手法と比較して同等以上の生成品質とソース・ターゲット間の整合性を実証した。特に、すべての 1 対多および無条件の画像・テキスト・音声の比較において最高の結合生成一貫性を達成しており、多様なマルチモーダル設定における統合的な潜在推論の有効性が数値として裏付けられている。

応用例と今後の展望

本手法は、画像、テキスト、音声など複数のモダリティが混在する複雑な生成タスクにおいて、任意の欠損データや部分的な入力から高品質な出力を生成する基盤技術としての応用が期待される。日本のマルチモーダル AI の研究開発や、エンターテインメント・医療分野におけるクロスモーダル生成システムの実装において、データの一部が欠損している環境下でのロバストな推論基盤として実務的なインパクトを持つ。

結論

MUNITE は、エンコーディングと潜在生成を統合する単一の条件付きフローモデルであり、自己蒸留に基づく条件付きフローマッチングにより、任意のマルチモーダル生成において高い生成品質と一貫性を実現することを示した。

注釈

• 条件付きフローマッチング (Conditional Flow Matching): 確率的なフローモデルを効率的に訓練するための手法。
• 自己蒸留 (Self-Distillation): 自身のより詳細な予測や出力を教師信号として、モデルの学習を促進する手法。