科学技術計算向けコード生成評価 SWE-bench Science 公開──最高性能モデルでも Pass@1 が 50% 未満と判明

論文概要

科学技術計算やシミュレーション分野のソフトウェア開発において、コーディングエージェントの能力と限界を多角的に評価するリポジトリレベルの新しいベンチマーク「SWE-bench Science」が提案された。本研究では、20の科学分野における98のGitHubリポジトリから収集した119のタスクを用いて、現行の最先端モデルの性能を検証している。その結果、最高性能を誇るClaude Code with Opus-5 (max) であっても、Pass@1の正解率は50%未満に留まることが明らかになった。

関連研究

従来のソフトウェア工学ベンチマーク（SWE-benchなど）は、主にWeb開発や汎用的なPythonライブラリのバグ修正を対象としており、集約的なタスク成功率の測定に終始していた。そのため、科学計算コード特有の物理的・数学的制約や、科学的妥当性の検証が含まれるタスクにおけるエージェントの失敗原因を詳細に分析することは困難であった。本研究は、科学的ドメインに特化したリポジトリレベルの評価軸を導入する点で先行研究と一線を画す。

新規性と貢献

本研究の主要な貢献は、Issue-driven、Expert-exploratory、Engineering-integrationという3つのパラダイムに分類された119の厳選された科学計算タスクの公開にある。さらに、エージェントが科学的ソフトウェアの修正に失敗するメカニズムを「科学的知識・抽象化の欠如」「誤った探索・表面的な修正」「不十分な修正カバレッジ・システム統合」「観測例を超えた一般化の失敗」の4つに分類・特定した点が学術的・実用的な大きな前進である。

提案手法の詳細

SWE-bench Scienceは、科学機器の挙動や根拠となるエビデンスに直結するコードの欠陥を検知するために構築された。各タスクは単なる構文エラーの修正だけでなく、ドメイン固有のモデル構造や数値計算の妥当性を問う設計になっている。また、明示的な科学的ガイダンスの有無によるペアアブレーション実験を実施し、その影響を精緻に検証している。

評価・考察

実験結果において、最良のエージェントでもPass@1が50%未満という低い水準に留まったことは、科学ソフトウェア開発の難易度の高さを物語っている。また、科学的ガイダンスの除去実験では、一見して有用に思える情報が必ずしも一律に有益ではないことが判明した。適切に裏付けられた情報は平均性能やトークン効率を向上させる一方で、整合性の取れないガイダンスはエージェントにアンカリングを引き起こし、正確な修正成功率の向上につながらないという知見が得られた。

応用例と今後の展望

本ベンチマークは、科学計算やシミュレーションツールを開発する研究開発部門や、AIエージェントを用いた自動コード生成パイプラインの信頼性検証において重要なテストベッドとなる。国内の製薬・材料科学・気象予測などのシミュレーションを行う研究チームやテック企業においては、自社で運用するAIコーディング支援ツールの限界値を測るためのベンチマークとして直ちに活用可能であり、今後のエージェント設計における重要な指針を提供する。

結論

SWE-bench Scienceは、科学ソフトウェア工学におけるコーディングエージェントの現在地を正確に測るための必須のベンチマークである。実験結果は、単に汎用モデルのスケールを上げるだけでは科学的妥当性を伴うコード修正に限界があることを示しており、ドメイン知識の統合方法の再考を促すものである。

注釈

• Pass@1: 生成された1つのコード候補がテストケースを通過する確率を示す指標。
• アンカリング: 提示された特定の情報（ガイダンスなど）に思考が過度に囚われ、柔軟な問題解決が阻害される現象。