スタンフォード大学など、科学研究ワークフロー用評価ベンチマーク Terminal-Bench-Science 0.1 を公開──最高解像率は Claude Opus 5 の 30%
実科学のワークフロー 70 タスクを用いて AI エージェントの科学的推論能力を検証し、最強モデルの Claude Opus 5 でも解像率 30%にとどまることを示した。
リリース: 2026-01-01 · 読了 4 分記事の要約
1. 核心（What）
- スタンフォード大学および Terminal-Bench チームは、科学研究における AI エージェントの能力を測る新しい継続的ベンチマーク Terminal-Bench-Science 0.1 を公開した。
- 生命科学、物理学、地球科学、数理科学、工学の 5 分野にわたる、専門家がキュレーションした 70 の複雑なタスクを収録している。
- Claude Opus 5 with Claude Code が解像率 30.0% でトップとなり、次いで GPT-5.6 Sol with Codex が 22.4% を記録した。
- 評価にかかった総コストやトークン使用量のパレート最適が公開され、モデルごとの経済的効率性も比較されている。
2. 影響（Why）
- 実世界科学タスクの不足解消: 従来の標準問題やテスト中心の評価とは異なり、研究者が直面する実際の複雑な分析やシミュレーションを評価対象にすることで、実務での実用性を正確に測れる。
- 国内研究現場のモデル選定基準: 国内の高度な解析業務を担う開発チーム（[国研・大手メーカー研究部門] 規模）は、API コスト対効果や特定ドメインでの実効性を基に、どのエージェントを採用すべきかの定量的な判断が可能になる。
3. 根拠・詳細（How）
- 厳格なピアレビュープロセス: 920 件の提案から 464 件の承認を経て 386 件のプルリクエストがオープンされ、科学的妥当性と技術的検証を通過した 70 タスクのみがバージョン 0.1 に採用された。
- ハーバーコマンドによる検証環境: すべてのモデルは単一の Harbor コマンドを用いて 3 回の独立した試行を実行し、分析、シミュレーション、証明、コードなどの具体的な成果物を客観的に採点する。
4. 展望・課題（Next）
- バージョン 0.2 に向けた開発: すでに Terminal-Bench-Science 0.2 の開発が進行しており、定期的なタスクの追加や更新を通じて、進化するフロンティア AI に追従する仕組みが維持される。