複数ページの視覚的長文脈文書に対応するエージェント型 VLM 検索拡張生成手法 VLD-RAG

論文概要

レポートやスライド、マニュアルなどの視覚的にリッチな長文書では、回答に必要な証拠が複数ページにまたがって存在することが多く、テキストとレイアウト、表、グラフなどの視覚シグナルを同時に処理する必要がある。本研究では、こうした視覚的長文書を対象としたマルチモーダル RAG (Retrieval-Augmented Generation) フレームワーク「VLD-RAG」を提案している。VLD-RAG は、ページを保持するマルチモーダルインデックスと、ハイブリッド検索、および検証型エージェントワークフローを組み合わせることで、複数ページに散らばる証拠の網羅性とクロスページ推論の精度を向上させる。

関連研究

従来のマルチモーダル検索や RAG 手法は、単一ページの画像処理やテキスト中心のチャンキングに依存しており、複数ページにまたがる図表とテキストの関連付けや、長文脈全体を俯瞰した検索に課題があった。本研究は、検索から検証、回答生成までをエージェントベースで協調させることで、これら既存のビジョンベース検索ベースラインの限界を克服することを目指している。

新規性と貢献

VLD-RAG の主な貢献は以下の通りである。第一に、パースされたテキスト、ページレベルのメタデータ、密な視覚表現を統合した「ページ保持型マルチモーダルインデックス」の構築。第二に、キーワードベースのスパース検索と密なセマンティッククエリを組み合わせたハイブリッド検索戦略の採用。第三に、Retrieval Agent、Answer Agent、Validation Agent を協調させ、欠落した引用の検出や検索リクエストの再調整を行うベリファイア誘導型エージェントワークフローの実現である。これにより、LongDocURL や MMLongBench-Doc などのベンチマークにおいて既存手法を上回る性能を実証した。

提案手法の詳細

VLD-RAG は、文書構造のコンテキストを維持しながら効率的な検索と推論を行うために設計されている。まず、文書をページ単位でインデックス化し、テキストと視覚的特徴量を保持する。検索段階では、スパース検索とデンス検索を併用して候補となる証拠ページを高精度に絞り込む。さらに、エージェント層において、Validation Agent が回答の根拠となる引用の欠落をチェックし、不十分な場合は Retrieval Agent に追加の検索を要求することで、複数ページにまたがる複雑な推論を確実に遂行する。

評価・考察

論文では、LongDocURL や MMLongBench-Doc などの視覚的長文書ベンチマークを用いて、証拠ページの Top-1 および Top-5 検索精度、ならびに一般化されたタスク精度を評価している。実験結果から、VLD-RAG は従来のビジョンベース検索ベースラインと比較して、証拠ページ検索とエンドタスクの質問応答の両方で性能向上を示しており、正解が複数ページに散らばる環境においてマルチモーダルなハイブリッド検索とエージェント検証が極めて有効であることが確認されている。

応用例と今後の展望

金融機関や製造業における、数百ページに及ぶ図表混じりのマニュアル、財務レポート、監査報告書の自動解析・質問応答システムへの応用が期待される。特に、国内の製造業や金融分野において、複雑な図表を含む社内文書からの正確な情報抽出と根拠提示が求められるユースケースにおいて、実務上の信頼性を高める基盤技術となる。今後の課題としては、大規模な長文脈ドキュメントを処理する際の計算コストの最適化や、実運用環境におけるレイテンシの短縮が挙げられる。

結論

VLD-RAG は、視覚的にリッチな長文書における複数ページの証拠検索とクロスページ推論の課題に対処するため、ページ保持型マルチモーダルインデックスとベリファイア誘導型エージェントワークフローを提案した。各種ベンチマークにおける評価を通じて、その有効性と信頼性の高いグラウンディング性能が示されている。

注釈

• RAG (Retrieval-Augmented Generation): 外部の知識ベースから関連情報を検索し、その情報を基に大規模言語モデルが回答を生成する手法。
• VLM (Vision-Language Model): 画像とテキストの双方を理解・処理できるマルチモーダル大規模言語モデル。