8B-MoT 統合マルチモーダルモデル SenseNova-U1.5──エンコーダ/VAE 非依存で 4K 解像度と多様な視覚タスクを実現

論文概要

本論文では、理解・推論・生成を単一のフレームワークで実行する 8B-MoT (Mixture-of-Tokens) ネイティブ統合マルチモーダルモデル「SenseNova-U1.5」が発表された。本モデルは、従来多くの画像生成・理解モデルで必須とされていたエンコーダや VAE (Variational Autoencoder) を一切使用しない、完全なエンドツーエンドのアーキテクチャを採用している点が特徴である。最大 4K 解像度までのネイティブ処理をサポートし、空間的に一貫性のあるパッチ再構築やマルチエキスパートオンポリシー蒸留により、画像忠実度やバイリンガルテキスト描画性能の向上の両立を実現している。

関連研究

従来のマルチモーダルモデルや視覚生成モデルでは、画像と言語のモダリティを処理するために個別のエンコーダ、デコーダ、あるいは VAE ベースの潜在空間を組み合わせるパイプラインが主流であった。しかし、これらの分離された構造は、タスク間の知識転移やエンドツーエンドの学習においてボトルネックとなることが指摘されてきた。本研究は、事前学習データや構造的プロンプトの拡張、および統合されたアーキテクチャを通じて、追加コンポーネントを排除したネイティブな視覚知能へのアプローチを提示している。

新規性と貢献

主要な新規性は、エンコーダおよび VAE を一切用いない構造を採用しながら、理解と生成をネイティブに統合した点にある。視覚インターフェースの強化として空間的整合性を持つパッチ再構築を導入し、さらに視覚美学、バイリンガルテキスト描画、インフォグラフィック生成、画像編集に特化した専門家モデルをマルチエキスパートのオンポリシー蒸留によって統合した。これにより、指示追従性を維持しつつ、被写体のアイデンティティや幾何学的特徴、未修正領域の保存を高い精度で実現している。

提案手法の詳細

SenseNova-U1.5 の設計思想の核心は、モダリティ間の分断をなくし、統一されたトークン空間上で視覚・言語データを直接処理する点にある。モデルは 8B-MoT アーキテクチャをベースとし、学習データのキュレーション、タスク定式化の改善、構造的プロンプトの拡張、最大 4K のネイティブ解像度へのスケーリングを組み込んでいる。事後学習においては、特定の視覚タスクを担当する専用エキスパートを最適化した上で、それらの能力をマルチエキスパートオンポリシー蒸留によって集約し、汎用性とタスク特化性能を両立させている。

評価・考察

広範な評価において、SenseNova-U1.5 は画像忠実度、テキスト描画、複雑な構成、マルチリファレンス編集、インタリーブ生成の各側面で優れた性能を示している。特に、構造化されたフォーマットへの露出が限られていたにもかかわらず、長大かつ複雑な構造的視覚指示に対して高い汎化性能を発揮し、マルチモーダル理解の能力が視覚的プランニングや創作タスクへ効果的に転移可能であることを実証している。

応用例と今後の展望

実務インフラや産業応用において、本モデルのオープンソース化される学習コード（教師あり微化学習、強化学習、オンポリシー蒸留を含む）は、高度なビジュアルコンテンツ生成や複雑なレイアウト編集を自社パイプラインに組み込む国内のクリエイティブ AI 開発企業や研究機関（従業員数 50〜300 名規模のテック企業等）に対して大きな実装上の選択肢を提供する。今後は、エンドツーエンドの統合モデルにおけるさらなる推論効率の最適化と、多様なドメイン特化型アプリケーションへの適用が期待される。

結論

SenseNova-U1.5 は、エンコーダフリーおよび VAE フリーな 8B-MoT アーキテクチャを用いることで、視覚的理解・推論・生成を完全に統合できることを示した。ネイティブな高解像度処理とマルチエキスパート蒸留の組み合わせは、次世代のマルチモーダル基盤モデルの設計指針として重要な示唆を与えている。

注釈

• MoT (Mixture-of-Tokens): トークン単位での処理やルーティングを動的に制御するアーキテクチャの概念。
• VAE (Variational Autoencoder): 画像などの高次元データを低次元の潜在空間に圧縮・復元するための生成モデルの一種。