LLMエージェントのMCPサーバー適応力を評価するMCPEvol-Benchを公開──進化するツール環境で精度最大14.4%低下

論文概要

MCPEvol-Benchは、Model Context Protocol (MCP) サーバーの継続的な進化がLLMエージェントのタスク遂行能力に与える影響を評価する新しいベンチマークである。実世界のMCPサーバーにおけるツールインターフェースや機能の変容を模倣するため、11種類の変異オペレーターを定義し、123のMCPサーバーを対象に12のSOTAモデルを評価した。結果として、最先端モデルであってもツール環境の進化に対して脆弱であり、GPT-5.4で13.7%、Claude-Sonnet-4-6で14.4%の性能低下が確認された。

関連研究

従来のエージェント評価ベンチマークは、静的なツールセットを前提としていた。しかし、実際の開発現場ではMCPサーバーは頻繁にアップデートされ、関数の追加・削除・引数の変更が行われる。本研究は、この「動的環境」という現実的な課題を初めてベンチマーク化した点に特徴がある。

新規性と貢献

本研究の主な貢献は、MCPサーバーの進化をシミュレートする11の変異オペレーターを導入したことにある。これにより、エージェントが未知のツール仕様変化に対してどの程度適応できるかを定量的に測定可能となった。また、モデルの性能低下が単なるタスク失敗ではなく、計画立案や推論プロセスのエラーに起因することを明らかにした。

提案手法の詳細

本手法は、既存のMCPサーバーをベースに、以下の変異オペレーターを適用して進化させる。これらは、APIのシグネチャ変更や機能の非推奨化といった実務上の変更を反映している。

• ツール追加/削除: エージェントが利用可能なツール空間の変動をシミュレート。
• 引数変更: 関数のインターフェース変更に対する適応力を測定。

評価・考察

12のモデルを評価した結果、ツール環境が進化するにつれて、モデルの計画立案能力が著しく低下することが判明した。特に、エラータイプの分布変化を分析すると、進化後のサーバーでは「ツールの誤選択」や「引数の誤生成」が急増している。

応用例と今後の展望

本ベンチマークは、社内ツールをMCPで接続している開発チームにおいて、エージェントの堅牢性をテストする標準指標として利用できる。特に数百規模のツールを運用するエンタープライズ環境において、モデルのアップデートが既存のエージェントワークフローに与える影響を事前に評価する重要性が高まっている。今後は、進化に対する適応を促進するためのFew-shotプロンプティングやRAGによるドキュメント更新手法の研究が求められる。

結論

MCPEvol-Benchは、LLMエージェントが動的なツール環境において直面する脆弱性を浮き彫りにした。モデル単体の性能だけでなく、環境変化への適応能力がエージェント実用化の鍵となる。

注釈

• MCP (Model Context Protocol): LLMと外部ツールやデータソースを標準化された方法で接続するためのプロトコル。
• 変異オペレーター: 本研究において、MCPサーバーの仕様を意図的に変更するために定義された操作ルール。