曖昧な検索クエリに対する対話型質問生成ベンチマーク Clarify-Then-Search の提案──情報検索精度への寄与を検証

論文概要

情報検索において、ユーザーのクエリが時間、場所、スコープ、定義などの制約を欠いた不十分な状態である場合、検索ドリフトや不完全な回答を引き起こす問題がある。本論文では、LLM が生成する明確化のための質問（clarification questions）が下流のディープサーチの有用性をどの程度改善するかを評価するための新しいベンチマーク「Clarify-Then-Search」を提案している。Baidu の検索エンジンにおける実世界のクエリデータに基づいて構築され、意図されたクエリとそれに対応する曖昧なクエリのペアを含む 518 件の厳選されたインスタンスで構成される。

関連研究

従来の大規模言語モデルにおける検索拡張生成（RAG）や検索プロセスでは、単一ターンのクエリ処理が主流であり、ユーザー意図が不明確な場合のインタラクティブな質問生成プロセスの体系的な評価は不足していた。本研究は、静的なゴールデンリファレンスを用いた再現性の高い評価フレームワークを確立する点で先行研究と異なる。

新規性と貢献

主要な貢献は、WebDancer を用いて証拠をアーカイブし、重み付けされた証拠グラウンド・ナゲットとして静的なゴールデンリファレンスを構築する手法の導入である。これにより、リーク耐性があり再現性の高い clarify-then-search パイプラインの評価が可能になった。また、質問の有用性、回答可能性、予算効果に関する詳細な分析を提供している。

提案手法の詳細

評価フレームワークでは、Clarifier が $k \in \{1, 2, 3\}$ 回の質問を行い、クローズドブックの User Answerer が意図クエリに明示された情報のみに基づいて応答する。次に、クローズドブックの Rewriter が曖昧なクエリと質問-回答ペアのみを使用して書き換えられたクエリを生成する。

評価・考察

すべての評価モデルにおいて、質問回数 $k=1$ の場合に対話なしのベースラインと比較して性能が改善し、一般に質問予算（$k$）を増やすことでさらなる性能向上が見られた。モデル別では、GPT-5.2 が $k=1$ で最も高い平均スコアを記録し、ERNIE-4.5-Turbo-128K が $k=3$ で全体的な最高性能モデルとなった。一方で、多くのシステムが意図クエリから回答不能な領域限定の質問を過剰に行い unknown を引き起こすという一貫した失敗モードが診断によって明らかになった。

応用例と今後の展望

検索エンジンのインタラクティブなクエリ補完機能や、金融・医療などの専門ドメインにおける高度な RAG システムへの応用が考えられる。日本の検索サービスやエンタープライズ向け対話型 AI 開発において、曖昧なユーザー入力を適切に再質問して精度を担保するアーキテクチャ設計の実装規模において参考になる知見である。今後の課題としては、回答不能な質問の抑制と、効率的な質問予算の配分アルゴリズムの最適化が挙げられる。

結論

Clarify-Then-Search ベンチマークの導入により、不十分なクエリに対する LLM の質問生成能力とディープサーチへの寄与を定量的に評価することが可能となった。実験結果から、適切な質問生成が検索精度の向上に寄与する一方で、無駄な質問の抑制という課題が浮き彫りになった。

注釈

• Nugget: 検索結果やテキスト中から抽出された、情報としての最小単位（事実の断片）。
• クローズドブック（Closed-book）: 外部データベースや追加のコンテキストを直接参照せず、モデル内部の知識や指定された最小限の入力のみに依存する評価設定。