ライブ市場でLLMエージェントのプロセスを評価するベンチマーク LiveMACEBench を発表

論文概要

LLMエージェントの評価において、従来の結果（Outcome）のみに基づく測定では、背後にある能力やメカニズムが隠蔽されるという課題が存在した。特に変化し続ける動的な環境下では、エージェントの行動と外部条件の相互作用により結果が大きく左右される。本研究では、ライブ金融市場をテストベッドとして活用するプロセス指向のベンチマーク「LiveMACEBench」を提案し、5つのフロンティアLLMを対象に30日間にわたる評価を実施した。

関連研究

既存のLLMエージェント評価は静的なデータセットや固定されたタスクに基づくものが多く、動的環境での継続的なインタラクションや意思決定のプロセスをトレースする仕組みが不足していた。本研究は、静的なリーダーボードから脱却し、決定木やメカニズムの実行過程を直接診断する点で既存手法と異なる。

新規性と貢献

主な貢献は、結果（ realized outcomes ）と能力（ capabilities ）の間に乖離が存在することを明らかにした点である。同一の結果であっても、異なるメカニズムやプロセスを経て達成されているケースがあり、単一のベンチマークスコアでは捉えられないエージェントのボトルネックを可視化する診断環境を構築した。

提案手法の詳細

LiveMACEBenchは、ツール使用（ Tool Use ）、持続的記憶（ Persistent Memory ）、ルール遵守（ Rule Following ）、マルチエージェント協調（ Multi-Agent Collaboration ）の各構成要素をマッチさせた環境で、連続した軌跡に沿ってエージェントを稼働させる。決定トレース全体からメカニズム固有の診断指標を抽出し、能力ごとのボトルネックを特定できるように設計されている。

評価・考察

30日間のライブ評価を通じて、実現されたリターン（成果）と能力測定値の間に顕著な outcome-capability gap（結果と能力のギャップ）が確認された。メカニズムへのアクセス権、実際の有効活用、そして最終的な下流性能はそれぞれ別個のものであり、互いに代替可能な指標ではないことが実証された。

応用例と今後の展望

金融分野や動的トレードシステムにおける自律型AIエージェントの開発において、単なるベンチマークのスコア競争から脱却し、プロセスの妥当性を検証する枠組みとして活用できる。日本の金融・FinTech領域における実務インパクトとして、アルゴリズム取引や自動監査システムの実装時、モデルの信頼性やルール遵守度を検証するためのテスト環境としての応用が期待される。

結論

LiveMACEBenchは、LLMエージェントの評価を結果重視からプロセス重視へと転換させるための診断環境であり、エージェントの実力を正確に測るための新しい基準を提供する。

注釈

• LiveMACEBench: ライブ金融市場をテストベッドとしてLLMエージェントのプロセスを評価するベンチマーク。
• フロンティアLLM: 現時点で最先端の性能を持つ大規模言語モデル群。