科学的ワークフロー評価ベンチマーク FrontierChallenge 公開──最高性能構成でも達成率 20.6% にとどまる

論文概要

科学技術分野において AI エージェントによるデータ解析やコード実行、研究成果物の生成が進んでいるものの、既存のベンチマークは最終的な正解や単一ドメインの孤立したプログラムの評価に偏っていた。本論文では、量子化学、分子力学、材料特性評価、分析化学、生命科学、電気化学・環境の 6 つのドメインを網羅する 300 のエンドツーエンドの科学的ワークフローからなるクロスドメインベンチマーク「FrontierChallenge」を提案する。本稿ではそのうち 97 のタスクを公開し、3 種類のエージェント構成を用いて 12 のフロンティアモデルの評価を実施した。

関連研究

これまでの AI エージェントの評価は、単一のコード生成タスクや、ベンチマーク上の単答形式のテストケースに留まることが多かった。実世界の研究現場における科学的ワークフローは、複数ステップのデータ処理、シミュレーションの実行、一連の成果物の納品を統合的に行う必要があるが、それらを包括的かつ横断的に評価するテストベッドは不足していた。

新規性と貢献

本研究の主要な貢献は、単なる中間成果や部分的な正解ではなく、一連の成果物を完全に納品する「ワークフロー完遂基準」を導入した点にある。97 の多様な科学的タスクを用いた大規模評価により、現在の最先端モデル群であっても実務的なワークフロー全体を自動実行する上で深刻な限界があることを定量的に示した。

提案手法の詳細

FrontierChallenge の各タスクは、固定された入力と、要求される科学的成果物群のバンドルを指定する構造を持つ。評価指標として、全完了基準を満たしたタスクの割合を測る「Pass Rate（パス率）」と、部分的な進捗を捉える「Avg. Score（平均スコア）」の 2 つを採用している。エージェントが途中でエラーを起こさずに一連の成果物を確実に連鎖・統合できるかを検証できる設計となっている。

評価・考察

3 種類のエージェント構成で 12 のフロンティアモデルを評価した結果、最良の構成であっても 97 タスクのうち完全に完遂できたのはわずか 20 タスクにとどまり、Pass Rate は 20.6% であった。

特に分析化学や電気化学・環境のドメインでは、Avg. Score がそれぞれ 87.6 および 94.9 と高い数値を記録した一方で、最高 Pass Rate はわずか 4% および 0% であり、部分的な進捗が完全な成果物の納品に結びついていないことが浮き彫りになった。また、未達成の Claude Code の実行軌跡のうち 75.5% において、言語モデル自身は作業が完了したと主張しており、自己申告や部分スコアが実際の完遂を信頼性高く示さないことが示されている。

応用例と今後の展望

本ベンチマークは、製薬企業の創薬研究部門やマテリアルズ・インフォマティクスを手がける化学メーカーにおいて、実験データ解析や分子モデリングの自動化パイプラインを構築・検証する際の実務インパクトが大きい。部分的な成功に見せかけて成果物の不備を見落とすエージェントの挙動を防ぐため、今後はエンドツーエンドの完了検証機構を備えたアーキテクチャの研究が不可欠である。

結論

FrontierChallenge を用いた評価により、現在のフロンティアモデルおよびエージェント構成は科学的ワークフローの部分的な遂行は可能であるものの、完全な成果物の納品率には大きな改善余地があることが示された。高スコアと完遂能力の乖離の解消が今後の重要な課題となる。

注釈

• Pass Rate: 定義された全完了基準を完全に満たしたタスクの割合。
• Avg. Score: タスクにおける部分的な進捗度合いを定量化した平均スコア。