主張と証拠のトレーサビリティを保証するエビデンスレジャー検証手法──既存比 29.3pt 増の精度を実証

論文概要

AI エージェントが生成する主張の正確性とトレーサビリティを担保するため、主張と証拠のペアリングやサポート関係の割り当て、未検証な主張の差し戻しを行う「エビデンスレジャー検証ワークフロー（Evidence-Ledger Adjudication）」を提案した論文である。AVeriTeC、CLIMATE-FEVER、SciFact から構築された 2,335 行の盲検ベンチマークにおいて、エージェントを活用した本手法は関係抽出精度 0.676、マクロ F1 スコア 0.601 を記録し、従来最高のエージェントなしベースライン（精度 0.383、マクロ F1 0.303）を大幅に上回る性能を示した。

関連研究

LLM による自動文書生成や RAG の普及に伴い、ハルシネーション（幻覚）の検出や引用元との整合性チェックは重要な課題となっている。しかし従来の自動検証手法は、単一のテキスト断片に対する真偽判定に留まることが多く、複数情報源にまたがる複雑な主張と証拠のトレーサビリティを監査可能な形で体系化するワークフローは十分に確立されていなかった。

新規性と貢献

本研究の最大の貢献は、生成された各主張に対して「エビデンスパケット」を紐付け、サポート関係の割り当てと矛盾・欠落のルーティングを自動化する監査可能なトレーサビリティ層を確立した点にある。独立した外部ラベルに基づく 2,335 行の厳格な盲検ベンチマークを用いて実証評価を行い、定量的かつ客観的に優位性を示した。

提案手法の詳細

提案手法の中核は、文書作成プロセスと検証プロセスを分離・統合するエビデンスレジャーワークフローである。各主張に対して証拠パケットを対にし、明示的なサポート関係を付与する。さらに、裏付けが不十分、矛盾している、あるいは情報が混在している主張を自動的に検出して著者へ差し戻す仕組みを取り入れており、信頼性の低い情報の混入を水際で防ぐ設計となっている。

評価・考察

AVeriTeC、CLIMATE-FEVER、SciFact のデータセットから構築された 2,335 行の盲検ベンチマークを用いた評価では、ゴールドラベルやソース証拠ラベルを予測時に隠蔽し、スコアリング時のみ結合する厳格な手法が採用された。その結果、エージェントベースのエビデンスレジャー条件は関係精度 0.676、マクロ F1 0.601 を達成し、非エージェントベースラインの精度 0.383、マクロ F1 0.303 から大幅な性能向上を達成した。また、矛盾や証拠の欠落・混在を示す 1,435 件の主張のうち 1,270 件を正しくルーティングし、サポートされている 900 件のうち 295 件を適切に処理した。

応用例と今後の展望

本手法は、法務文書や金融レポート、医療・製薬分野の学術論文など、正確性と厳密な引用トレーサビリティが求められる実務領域での AI ライティング支援において極めて高い実用性を持つ。日本の金融機関や製薬企業における自動ドラフト生成システムの監査レイヤーとして、約 1,000 〜 5,000 規模のドキュメント検証ワークフローへの導入インパクトが見込まれる。今後の課題としては、多様な外部情報源に対するスケーラビリティの向上や、動的な証拠更新への追従が挙げられる。

結論

本論文は、不均一な証拠パケットを監査可能なトレーサビリティ層へと変換するエビデンスレジャー検証手法を提案した。盲検ベンチマークにおける圧倒的な精度改善は、AI アシスト環境における信頼性確保の新たなスタンダードとなることを示している。

注釈

• エビデンスレジャー: 主張とそれに対する検証済みの証拠群を台帳形式で管理し、トレーサビリティを保証する仕組み。
• AVeriTeC / CLIMATE-FEVER / SciFact: クレーム検証や科学的事実の判定のために広く用いられるベンチマークデータセット。