複数検索シグナルとチャンク単位評価を統合した企業向け RAG 手法 DocuSearch──Precision@10 で既存手法比 15pt 向上

論文概要

企業内の大規模な文書リポジトリから正確かつ根拠のある回答を抽出することは、専門用語やベンダー固有の略語が混在する環境において依然として困難な課題である。本論文では、通信ネットワークの運用環境で開発および評価されたオフラインのマルチエージェント型文書インテリジェンスシステム「DocuSearch」が提案されている。DocuSearch は単一の検索シグナルに依存せず、ベクトル検索、全文検索、知識グラフからの近傍探索という 3 つの補完的な情報源を統合し、Precision@10 で 0.69、Recall@10 で 0.79、グラウンディング率で 89.6% を達成し、従来の単一ベクトル RAG ベースラインと比較してそれぞれ 15pt、16pt、18.4pt の向上を実証した。

関連研究

従来の高精度な企業向け検索では、密ベクトル表現を用いたセマンティック検索が主流であったが、専門用語が複雑に絡み合う文書や非連続な複数セクションに跨がる推論を要するクエリに対しては十分な性能を発揮できない課題があった。本研究では、単一手法の限界を克服するため、キーワードマッチング（BM25）、ベクトル類似度、構造化された知識グラフを組み合わせるハイブリッドアプローチを採用している。

新規性と貢献

本研究の主要な貢献は、3 つの異なる検索シグナルを Reciprocal Rank Fusion（RRF）により統合しつつ、個々のチャンクを独立したミニ検索問題として扱う「Per-Chunk Grounded Evaluation（チャンク単位のグラウンディング評価ループ）」を導入した点にある。これにより、検索結果の関連性と多様性を担保しながら、根拠のない情報の出力を厳格に排除することが可能となった。

提案手法の詳細

DocuSearch のパイプラインは、Pre-MMR Phase と Post-MMR Phase の 2 つの主要フェーズで構成される。 最初の段階では、Qdrant ベクトルストアを用いた BGE-Large 埋め込みによるセマンティック検索、SQLite FTS5 インデックスを活用した BM25 全文検索、および構造化エッジテーブルからの知識グラフ近傍展開という 3 つの異なるランク付きリストが生成される。これらは、ベクトル検索に 0.50、BM25 に 0.35、知識グラフに 0.15 のシグナル重みを割り当て、スコアを安定させるために平滑化定数 60 を用いた RRF によって統合される。その後、クロスエンコーダーによるリランクが行われ、バランスファクター 0.65 の Maximal Marginal Relevance（MMR）によって結果の関連性と多様性が調整される。

MMR 後のフェーズでは、各チャンクを独立したミニ検索問題として扱う評価ループが機能する。LLM が各チャンクに対して「追加のコンテキストが必要か」「クエリに完全に対答しているか」「回答が取得されたテキストに基づいているか」を判定し、根拠の不十分な回答は即座に除外され、マルチチャンクの統合処理へとフォールバックする設計となっている。

評価・考察

通信分野のコーパスを用いた評価実験において、DocuSearch は Precision@10 で 0.69（ベースライン比 15pt 向上）、Recall@10 で 0.79（同 16pt 向上）、グラウンディング率で 89.6%（同 18.4pt 向上）を記録した。この結果は、複数の検索シグナルの融合とチャンク単位の厳格なグラウンディング評価が、企業内の複雑な文書検索における精度向上とハルシネーション抑制に極めて有効であることを示している。

応用例と今後の展望

通信事業や製造業など、膨大なマニュアルや運用手順書を抱えるエンタープライズ領域における社内ヘルプデスクやドキュメント検索システムへの実務インパクトが大きい。日本のエンジニアや研究者にとっては、オンプレミス環境や閉域網での運用が想定される大規模な業務システムにおいて、エージェント型評価ループを組み込んだ高精度 RAG アーキテクチャを実装する際の具体的な設計指針となる。今後の課題としては、大規模データセットに対する処理レイテンシの最適化が挙げられる。

結論

本論文で提案された DocuSearch は、ハイブリッド検索とエージェントベースのグラウンディング評価を組み合わせることで、企業向け文書検索の精度と信頼性を大幅に引き上げることに成功した。単一手法に頼らない堅牢なアーキテクチャとして、今後の実務展開において重要な知見を提供する。

注釈

• RRF (Reciprocal Rank Fusion): 複数の異なるランキング結果を、順位に基づいて統合するためのアルゴリズム。
• Cross-Encoder: クエリと文書のペアを同時に入力し、深い相互作用を捉えて関連度を精密に再ランク付けするモデル。
• MMR (Maximal Marginal Relevance): 検索結果の関連性を維持しつつ、情報の重複を避けて多様性を高めるための選択手法。