マルチモーダル文書検索の効率化手法 NeoMME ── 800M パラメータで nDCG@10 0.556 を達成

論文概要

視覚的文書検索において、従来の生成型視覚言語モデル（VLM）ベースの手法は、非生成タスクであるにもかかわらず不要なパラメータと計算オーバーヘッドを抱えていた。本論文では、マルチモーダルかつ多言語対応の双方向Transformerエンコーダ「NeoMME」を提案する。260Mおよび800Mパラメータのモデルサイズで、ViDoRe v3ベンチマークにおいて既存の同等規模モデルを上回る検索精度と、NVIDIA L40S上で約2倍のスループットを実現している。

関連研究

ColPaliをはじめとする視覚的文書検索手法は、生成型VLMのエンコーダ部分を流用することで高精度な検索を可能にしてきた。しかし、これらは因果関係に基づく言語モデルの構造を引き継いでいるため、エンコード専用のタスクに対して過剰な計算コストが発生する課題があった。本研究では、初めから非生成タスク向けの単一タワー型双方向アーキテクチャとして設計することで、このオーバーヘッドを解消している。

新規性と貢献

主要な貢献は以下の通りである。

1. 単一の双方向Transformerエンコーダによる、多言語テキストと生画像パッチのネイティブな統合処理。
2. マスクド離散拡散テキスト目的関数を用いたゼロからの事前学習による、効率的な表現獲得。
3. 階層的トークンプーリングと非対称量子化の組み合わせにより、埋め込みサイズを 255x 圧縮しつつベースラインの nDCG@10 を 95% 以上保持。

提案手法の詳細

NeoMMEは、多言語テキストと画像パッチを単一の双方向エンコーダで直接処理する。テキストの事前学習にはマスクド離散拡散目的関数を採用し、マルチモーダルな事例に対しては可視画像パッチを条件付けとして与える。これにより、16,384トークンのコンテキスト長をサポートし、最大2枚の4K UHD画像をエンコード可能にしている。検索タスクへの適応としては、共同訓練された密ベクトル（dense）ヘッドと遅延相互作用（late-interaction）ヘッドをファインチューニングで結合している。

評価・考察

ViDoRe v3ベンチマークにおいて、NeoMME-Retriever 260Mは 0.523 nDCG@10 を記録し、800Mパラメータ未満の評価済みモデルで最高精度を達成した。また、大型の NeoMME-Retriever 800M は 0.556 nDCG@10 に到達している。NVIDIA L40S環境かつ 2048x2048 の画像入力サイズ条件において、NeoMME-260M は ColModernVBERT の約2倍のスループットでページエンコードを実行する。

応用例と今後の展望

医療・金融分野における大規模なマルチモーダル文書検索システムにおいて、検索レイテンシとメモリコストを劇的に削減する実用的な基盤として機能する。日本のエンジニア・研究者にとっては、数十万〜数百万ページ規模の日本語を含む多言語PDF・スキャン文書を効率的にRAGへ統合する際の実装コスト低減に直結する。モデルおよびチェックポイントは Hugging Face (Apache 2.0) にて公開されており、直ちに実務検証が可能である。

結論

NeoMME は、マルチモーダル文書検索において VLM のアーキテクチャを脱却し、単一タワー型の双方向エンコーダによって高スループットと高精度を両立させた。大規模な文書群を扱う検索インフラの実装コストを大きく引き下げる成果と言える。

注釈

• ViDoRe v3: 視覚的文書検索（Visual Document Retrieval）の性能を評価するためのベンチマーク。
• nDCG@10: 検索結果の上位10件におけるランキングの品質を評価する指標。