HuggingFace、マルチモーダルエンコーダー NeoMME を公開──260M/800M の軽量設計で ViDoRe v3 Pareto 境界を達成
別体の視覚タワーや因果型言語デコーダーを排除し、単一の双方向 Transformer でテキストと高解像度画像を直接処理して推論効率を最大化した。
リリース: 2026-09-03 · 読了 3 分記事の要約
1. 核心（What）
- HuggingFace はテキストと画像を単一の双方向 Transformer で処理するマルチモーダルエンコーダー NeoMME を発表した。
- モデルサイズは 260M と 800M の 2 種類で、Apache 2.0 ライセンスの下で Hugging Face Transformers に公開されている。
- ColPali のページ画像アプローチを応用した NeoMME-Retriever は、1 回の forward pass で高精度な dense および late-interaction 埋め込みを出力する。
- 階層型トークンポーリングと非対称量子化を組み合わせることで、95%以上の nDCG@10 精度を維持したままストレージ容量を 255 分の 1 に圧縮した。
2. 影響（Why）
- VLM オーバーヘッドの排除: 従来の生成型 VLM と異なり事前学習済みの視覚タワーや因果型デコーダーを持たないため、パラメータ数と計算コストを抑えた効率的なマルチモーダル処理を実現する。
- 国内 RAG パイプラインへの適用: OCR 処理を介さずにレイアウトや図表を含む文書をそのまま高速検索できるため、国内の金融・製造業における複雑なマニュアル検索の精度と速度を同時に改善できる。
3. 根拠・詳細（How）
- アーキテクチャとデータ効率化: 32×32 パッチに分割した画像とトークン化されたテキストを同一の Transformer エンコーダーに入力し、NorMuon オプティマイザーを用いて 5240 億トークンで事前学習を行った。
- 評価とインデックス最適化: ViDoRe v3 ベンチマークにおいて 260M モデルが nDCG@10 で 0.523 を記録し、階層型クラスタリングによるトークンポーリングでインデックス容量を 1 ページ 6 kB まで圧縮した。
4. 展望・課題（Next）
- オープンソースライブラリとの連携: NextPlaid などのオープンソースライブラリを活用した late-interaction インデックスの実運用検証と、実環境におけるレイテンシ計測が今後の焦点となる。