専門家検証済み STEM QA データセット──物理・化学等の 4 分野でフロンティアモデルの正解率 25% 未満を記録

論文概要

AI の科学分野（物理学、化学、生物学、数学）への応用が進む中、既存のオンラインデータに基づく評価セットは性能の飽和やタクロノミーの偏り、実務と乖離した多肢選択形式、不正確な解答という課題を抱えている。本論文では、241名のドメイン専門家によって作成された高精度な STEM QA データセット（公開版 N=398、非公開版 N=2,000）を提案し、フロンティアモデルの評価における課題を分析した。評価実験により、既存のフロンティアモデルはこのデータセットに対して 25% 未満の低い正解率を示すことが確認された。

関連研究

STEM 領域における AI の評価データセットは複数存在するが、コンテスト形式のデータ収集や時間制限のある査読プロセスの影響で、解答や解説に不正確さが残る問題があった。また、既存データセットではモデル性能が頭打ちになる現象（saturation）が発生しており、十分な評価ヘッドルームが失われていた。本研究では、検証プロセスを厳格化することでこれらの限界を克服している。

新規性と貢献

本研究の最大の貢献は、偏りのないバランスの取れたタクソノミー設計と、コンセンサスベースの複数回におよぶ専門家レビューを組み合わせた厳格なデータ構築プロセスにある。これにより、現在のフロンティアモデルでも 25% 未満の正解率しか出せない難易度の高いベンチマークを確立し、モデルの真の推論能力を測定可能にした。

提案手法の詳細

提案された 'Expert-validated STEM QA' は、物理学、化学、生物学、数学の 4 分野を網羅している。設計にあたっては、（1）バランスの取れたタクソノミーの構築、（2）品質駆動型インセンティブによる質問コントリビューターの選定、（3）専門家による合意形成を前提とした複数回の査読・改訂、（4）実世界の科学者の利用形態に合わせた検証可能な Q&A 形式の採用、という 4 つの原則に基づいて開発された。

評価・考察

評価実験では、フロンティア AI モデルが本データセットに対して 25% 未満の低いスコアを記録し、現行モデルの限界を浮き彫りにした。さらに、非公開バージョンのデータセット（N=2,000）を用いた事後学習（Post-training）を行ったところ、HLE-verified の STEM サブセットにおいてオープンソースモデルの性能がベースライン比で 15% 向上した（p=0.045）。この結果は、本データセットが評価だけでなくモデルのファインチューニングにも有効であることを示している。

応用例と今後の展望

医薬品開発や先端材料工学といった国内の製造業・化学分野における研究開発において、高精度な科学的推論を行うドメイン特化型 LLM の事後学習データとして直接応用できる。データセットの一部はすでにオープンソース化されており、研究コミュニティにおける強化学習や微調整の検証基盤としての活用が期待される。

結論

本研究は、専門家の知見を体系化した厳格な STEM QA データセットを提示し、従来の評価セットにおける性能飽和と品質問題を解消した。フロンティアモデルの評価と事後学習の両面において高い有用性が示されている。

注釈

• STEM: 科学（Science）、技術（Technology）、工学（Engineering）、数学（Mathematics）の総称。
• HLE: Humanity's Last Exam など、超高度な推論能力を測定するために設計された難関ベンチマークの総称。