Perplexity、検索ベンチマーク Q2D-Web を公開──1.9 億件の文書と 7 万件のエージェントクエリで評価
実プロダクション由来のエージェント書き換えクエリと 1.9 億件の網羅的文書を用い、商用 RAG の実戦的検索精度を測る新たな業界標準ベンチマーク。
リリース: 2026-09-09 · 読了 3 分記事の要約
1. 核心（What）
- Perplexity は実トラフィック由来の検索クエリを活用したエージェント型 RAG 向けベンチマーク Q2D-Web を公開した。
- データセットには 1.9 億件のウェブ文書と 69,721 件のクエリ、平均 99.6 件のポジティブ判定ラベルが含まれている。
- pplx-embed-v1-4b や Nemotron-3-Embed-8B など 13 のリトリーバーモデルが評価され、Hugging Face 上でリーダーボードが公開されている。
- Reciprocal Rank Fusion (RRF) によるサンプリングを採用し、コーパスの 31.7% を使用することで計算コストを削減した。
2. 影響（Why）
- 実用クエリ構造のギャップ解消: 人間の単純な検索クエリではなく、エージェントが自律的に再構成した複雑なクエリ構造を検証できるため、実運用に近い精度のモデル評価ができる。
- 厳格なマルチラベル判定: Citation・Web Ranking・LLM による統合判定の 3 セットを組み合わせることで、従来の単一ラベル評価で発生していた偽陰性のペナルティを防ぐ。
3. 根拠・詳細（How）
- RRF サンプリングによる評価最適化: Reciprocal Rank Fusion を用いてコーパスを 31.7% に縮小し、モデルのランキング順位を維持したまま、フルコーパス評価に必要な数千 H200 GPU-hours のコストを削減した。
- 標準化されたトークン長制限: すべてのクエリと文書はモデル独自のトークナイザーを用いて 512 トークンに切り詰められ、公平な条件で埋め込み性能が測定される設計となっている。
4. 展望・課題（Next）
- コミュニティからのモデル提出受付: 開発者はパブリックな Hugging Face リポジトリ経由で評価申請フォームを送信し、リーダーボードへの参加が可能。