大規模 Agentic 評価を統合する Harbor Adapters と難度を凝縮した Harbor-Index の提案

論文概要

LLM（大規模言語モデル）ベースのエージェント評価は複雑な環境構築とインテグレーションが要求されるため、増加の一途を辿るベンチマークへの対応が深刻なボトルネックとなっている。本論文では、統一的な評価インフラストラクチャとして「Harbor Adapters」を提案し、80以上のベンチマークを任意の言語モデルエージェントから利用できるようにポートした。さらに、8つのフロンティアモデルを54のベンチマークで大規模に評価し、難度の高い82のタスクを凝縮した「Harbor-Index」を公開した。Harbor-Index において、最強とされる GPT-5.5 with Codex でもパス率は 28.0% に留まり、全モデル・ハーネス構成で 30% を超えない難度を維持している。

関連研究

従来のエージェント評価は、個別の環境やバラバラの評価ハーネスに依存しており、新しいモデルやエージェントフレームワークが登場するたびに環境の再構築やアダプターの自作が必要であった。本研究は、多様なベンチマークとエージェントを抽象化し、一括して接続・比較できるインフラを提供することで、これまでの断片的な評価手法の課題を克服する。

新規性と貢献

本研究の主要な貢献は3点ある。第一に、80以上のベンチマークを任意の外部エージェントから実行可能にする Harbor Adapters を開発し、厳格なコードレビューとパリティ実験によって検証した点。第二に、8つのモデルと3つのネイティブハーネス、Terminus-2を組み合わせた54ベンチマーク規模の網羅的評価を実施し、詳細な失敗モードを分析した点。第三に、AI と人間による監査・修正ループを経て難度フィルタリングを行い、29ベンチマークから選りすぐった 82 タスクのメタデータセット Harbor-Index を構築した点である。

提案手法の詳細

Harbor Adapters は、異なるベンチマーク環境の入出力仕様や実行依存関係の違いを吸収するアダプター層として機能する。なぜこの設計にしたかといえば、エージェント評価のコスト（計算資源および人間による環境構築コスト）を劇的に削減しつつ、異なるハーネス間での公平な比較を担保するためである。また、Harbor-Index の構築においては、難度が低すぎるタスクやノイズの多いタスクを徹底的に排除し、モデルの真の限界を引き出す高難度な課題のみを抽出し直している。

評価・考察

54のベンチマークを用いた大規模評価の結果、フロンティアモデルの能力差と共通の失敗モードが浮き彫りとなった。Harbor-Index における評価では、どのモデル・ハーネス構成もパス率 30% 未満となっており、最も高いスコアを記録した GPT-5.5 with Codex でも 28.0% に留まった。これは、現在のモデルが複雑なエージェントタスクにおいて依然として大きな改善の余地を残していることを示している。

応用例と今後の展望

本研究の成果物はオープンソースとして公開されており、国内のAIプロダクト開発企業におけるLLMエージェントの継続的インテグレーション（CI）およびベンチマーク検証において、検証コストを大幅に引き下げる実務インパクトを持つ。特に、金融・医療分野など高度なマルチステップ推論やツール利用を伴うドメインにおいて、自社モデルの性能限界を効率的に測定するための標準インフラとして活用可能である。今後の課題としては、さらに多様な実世界環境への対応範囲の拡大が挙げられる。

結論

Harbor Adapters と Harbor-Index は、複雑化するエージェント評価の断片化を解消し、信頼性とコスト効率を両立させる基盤を提供する。高難度かつ網羅的なベンチマーク運用の標準化を通じて、今後のエージェント研究の発展を強く加速させるものである。

注釈

• Agentic Evaluation: 自律的にツールや環境を利用してタスクを遂行するエージェントの性能を評価すること。
• Terminus-2: エージェントの実行環境やインタラクションを管理するための評価用ハーネスの一種。