コーパス拡大で BM25 が勝つ：450倍の規模で検証した RAG パラダイムのスケーリング特性

論文概要

Retrieval-Augmented Generation (RAG) の各パラダイム（語彙ベース検索、高密度ベクトル検索、グラフベース、エージェント型探索）は、これまで異なるベンチマークや任意のコーパスサイズで評価されてきたため、正確な精度とコストのスケーリング則は未解明でした。著者らは、質問セットを固定しつつコーパスサイズを約450倍（28のネストされた階層）に変化させる制御実験を実施しました。単一のリーダーモデルと評価プロトコルの下で検証した結果、単純な単一の勝者は存在せず、コーパス規模に応じて優劣が逆転するクロスオーバー現象を確認しました。

関連研究

RAGの検索コンポーネントとして、従来のスパース検索（BM25など）から高密度ベクトル検索（Dense Retrieval）、さらに最近ではLLMを活用したエージェント型探索やグラフベースのインデクシング手法が提案されてきました。しかし、これらはそれぞれ異なるデータセットや小規模なコーパスでのみ比較されることが多く、実運用スケールにおけるコスト対効果のトレードオフは十分に検証されていませんでした。

新規性と貢献

本研究の最大の貢献は、コーパスサイズを厳密に制御した 28 階層のネスト環境を構築し、公式精度・構築およびクエリトークン数・レイテンシを同一条件で網羅的に計測した点にあります。これにより、検索空間の拡大が各パラダイムの性能とコストに与える影響を定量的に明らかにしました。

提案手法の詳細

検証では、検索アプローチとして以下の4つを比較しています。

• File-System Agent: 小規模な共有階層では順次探索によって優れた性能を発揮しますが、探索の逐次性により最大のクエリトークン数を消費します。
• BM25 (語彙ベース検索): LLMベースの事前構築を必要とせず、パレートフロンティアの低コスト側を完全にアンカーします。
• Dense Retrieval: 効率性は高いものの、最大規模での精度は限定的です。
• グラフベース RAG: デプロイメントスケールに達する前に構築の壁（construction walls）に直面します。

評価・考察

実験結果から、約 1000 万コーパス・トークン（10 million corpus tokens）付近で明確なクロスオーバーが観測されました。最小規模では File-System Agent が優勢ですが、コーパスの拡大に伴い効率が低下し、1000 万トークンを超えると BM25 がすべての共有階層で他の手法を逆転・圧倒します。最大規模においては、BM25 は既存の競合手法に対して最大 20 ポイントの精度差をつけて優位に立ちました。

応用例と今後の展望

本知見は、大規模な文書群を扱う法務テックや大規模社内ナレッジ検索基盤などのエンタープライズ領域におけるシステム設計に直接的な影響を与えます。数百万件を超えるドキュメントを保有する国内の金融・製造業における社内 RAG 開発において、無計画なエージェント型探索の導入を避け、まずはスケーラブルな語彙検索（BM25）をベースラインおよびグローバル候補ランキングの基盤として採用すべきであることを示唆しています。今後は、エージェント型推論を検索の代替ではなく、ランキング後の高度な処理として統合する設計への移行が求められます。

結論

コーパス規模の拡大はグローバルな候補ランキングを有利に働かせます。語彙ベース検索である BM25 は最も強力でスケーラブルなデフォルトであり、エージェント型推論は検索の代替としてではなく、ランク付けされた発見の後に適用すべきであると結論づけています。

注釈

• BM25: 語彙の一致度を基に文書の関連度をスコアリングする古典的な情報検索アルゴリズム。
• RAG (Retrieval-Augmented Generation): 外部データベースから関連情報を検索し、その情報を基に大規模言語モデルが回答を生成する技術。