OpenDiscoveryTrace: AI エージェントの科学的推論プロセスを検証する 558 件の軌跡データセット

論文概要

自律型 AI サイエンティストの評価において、生成されたコードや論文といった最終出力のみを検証し、そこに到達するまでの推論プロセスを破棄してきた従来の問題点を指摘する論文である。著者らは、モデルが単に何を生成したかだけでなく、どのように推論したかを捉えた 558 件の完全な AI 科学エージェント軌跡からなるパブリックデータセット「OpenDiscoveryTrace」を提示している。本データセットは、薬物発見、マテリアルサイエンス、ゲノミクス、科学文献解析にわたる 124 の科学的タスクを実行する過程を記録している。

新規性と貢献

各軌跡において、思考、ツール呼び出し、観察、エラー、修正トリガー、自己報告による信頼度を含む 9 種類のフィールドからなる構造化されたステップ別トレースを記録している点が最大の新規性である。これにより、出力結果の評価だけでは隠蔽されるモデルごとの行動特性やエラープロファイルの差異の検証が可能になる。

提案手法の詳細

本データセットは 7 つのモデルをカバーしている。3 つのフロンティアモデル（GPT-5.4、Claude Opus 4.6、Gemini 3.1 Pro; 各 124 軌跡、ドメインと難易度レベルで完全にバランス調整済み）と、4 つのオープンウェイトモデル（Qwen2.5-7B、Mistral-7B-v0.3、Phi-3.5-mini、Qwen2.5-1.5B; 各 30 軌跡）、さらに 60 のライブ検索バリアント軌跡が含まれる。各ステップで一貫した 9 項目のフィールドを記録する設計により、推論の失敗要因を詳細に追跡できる構造となっている。

評価・考察

363 件の LLM 評価済み軌跡に対するパイロット分析によると、すべてのフロンティアモデルが 84% から 89% という同等の成功率を達成している一方、プロセスベースの評価によって従来の出力ベースでは見えない差異が明らかになった。具体的には、Claude Opus 4.6 は GPT-5.4 と比較して 30 倍のエラーを生成し（1 軌跡あたり 2.5 回対 0.08 回、p < 0.0001、Cliff's $\delta = 0.613$ ）、そのエラープロファイルも定性的に異なっている。Claude はエラーの 66.7% がツール悪用（tool misuse）に起因する一方、GPT-5.4 は 83.6% が推論エラー（reasoning errors）に起因することが示されている。また、ロジスティック回帰、ランダムフォレスト、LSTM、Transformer モデルを用いた 5 つのベンチマークタスクのベースラインが定義されている。

応用例と今後の展望

本データセット、トレーススキーマ、エージェントハーネス、およびベンチマーク定義は、プロセスレベルの評価、科学的エージェントの監査、AI ガバナンスに関する研究を支援するために CC BY 4.0 の下で公開されている。日本の製薬・マテリアル企業における自律型研究支援エージェントの実装・監査フェーズにおいて、単なる出力精度だけでなく、エラーの発生傾向やツール使用の妥当性を検証するための実務的な評価基盤として活用される見込みである。

結論

OpenDiscoveryTrace は、自律型 AI サイエンティストの評価軸を最終出力からプロセスへと転換するための網羅的なデータセットである。成功率の裏に隠されたモデルの挙動の差異を浮き彫りにし、信頼性の高い科学的 AI エージェントの設計と監査に貢献する。

注釈

フロンティアモデル: 各社が提供する最高性能の最先端大規模言語モデル。
プロセス・トレース: エージェントがタスクを達成するまでの内部思考や外部ツールの実行履歴を時系列で記録したもの。