テキスト・画像・動画を統合処理する汎用マルチモーダル埋め込みモデル WeMM-Embedding──MMEB-v2 で 9B 版がスコア 80.6 を記録

論文概要

WeChat チームの研究グループが発表した WeMM-Embedding は、テキスト、画像、動画、視覚的文書、および任意のインタリーブ形式のマルチモーダル入力を単一の共通空間に射影し、柔軟な出力次元をサポートする汎用マルチモーダル埋め込みモデルのファミリーである。モデルサイズは 2B、4B、9B の 3 種類が用意されており、大規模なマルチモーダルアライメント段階と、厳選されたデータ・細粒度の関連性監視・クロススケール知識転移によるリファインメント段階の 2 段階でトレーニングが行われている。

関連研究

従来、マルチモーダルな表現学習や埋め込み生成モデルはテキストや画像を中心に発展してきたが、動画や視覚的文書などを含む多様なモダリティを同時に、かつ任意の混在入力として高精度に処理できるスケーラブルなオープンソースの埋め込みモデルは限られていた。MMEB-v2 などの公開ベンチマークにおいて、既存のオープンソースベースラインを超える汎用的な埋め込み空間の構築が求められていた。

新規性と貢献

本研究の最大の貢献は、2B、4B、9B という実用的なサイズ展開を持ちながら、MMEB-v2 ベンチマークにおいて 2B の軽量バリアントですら従来の 8B のオープンソースベースラインを上回る性能を達成した点にある。さらに、9B バリアントは全体スコア 80.6 という新たな SOTA（State-of-the-Art）を記録し、検索や推薦システムなど大規模実運用へのスケーラビリティを証明した。

提案手法の詳細

WeMM-Embedding は、大規模なマルチモーダルアライメントによって多様なモダリティ間の初期整列を行った後、キュレーションされたデータを用いたリファインメント段階を挟む 2 段階学習を採用している。これにより、細粒度な関連性監視やクロススケール知識転移が効果的に働き、出力次元の柔軟性を保ちつつ高精度な埋め込み表現を獲得している。

評価・考察

パブリックベンチマーク MMEB-v2 において、2B バリアントが既存の 8B オープンソースモデルを凌駕し、9B バリアントが全体スコア 80.6 を記録した。また、WeChat 内の 26 タスクを用いたインハウスベンチマークで大幅な性能向上を確認したほか、14 のオンライン A/B テストでも一貫した改善を示しており、実際の推薦・検索サービス（WeChat Channels、Official Accounts、Moments、eコマースサービスなど）で大規模にデプロイされている。

応用例と今後の展望

本モデルは、大規模な検索・推薦システムにおける異種データ統合の中核として極めて高い実用性を持つ。日本のエンジニア・研究者への実務インパクトとして、特に国内の大規模 EC サイトやメディアプラットフォーム、動画・画像を含む高度な RAG システムにおいて、マルチモーダル検索の精度向上やモデル軽量化（2B 版の活用）の観点で即座に検証・導入を検討する価値がある。今後はオープンソースとして公開された重みとコードを活用したさらなるドメイン適応研究が期待される。

結論

WeMM-Embedding は、テキストから動画・文書までを網羅する柔軟かつ高精度な汎用マルチモーダル埋め込みモデルであり、オープンソースとして公開されることで今後のマルチモーダル検索・推薦システムの発展に大きく寄与する。

注釈

• MMEB-v2: マルチモーダル埋め込みモデルの性能を評価するための包括的な公開ベンチマーク。