LLMエージェントのツール利用効率を定量化する指標「限界ツール効用（MTU）」を提案

論文概要

本研究は、LLMエージェントが実行するツール呼び出しの効率性を定量化する新しい指標「ツール効率（Tool Efficiency）」と、各呼び出しの有用性を判定する「限界ツール効用（Marginal Tool Utility: MTU）」を提案した。従来、エージェントの性能評価はタスクの最終精度に依存していたが、本手法は推論軌跡（Trajectory）を事後的に分析し、精度を損なわずに削減可能なツール呼び出しを特定する。

関連研究

従来、LLMのツール利用能力を向上させる手法や、精度を間接的な指標として効率性を測る研究は多数存在する。しかし、ツール呼び出しそのものの「無駄」を直接的に定量化する試みは不足していた。本研究は、精度という結果指標とは独立した効率性指標を定義することで、エージェントの設計指針を明確化する。

新規性と貢献

最大の貢献は、ツール呼び出しの有用性をLLM-as-a-Judgeを用いて判定し、MTU（Marginal Tool Utility）として符号化した点にある。これにより、エージェントが「どのツールを、どのタイミングで呼ぶべきか」という設計課題に対し、客観的なデータに基づいた最適化が可能となった。

提案手法の詳細

本手法は、LLMが生成した推論軌跡に対し、各ツール呼び出しが最終的なタスク達成に寄与しているかをLLMが判断する。MTUが負であれば、その呼び出しは削除可能とみなされる。この設計は、不要なAPI呼び出しによるレイテンシ増大やトークン消費を抑制し、より「リーン（無駄のない）」なツールスイートを構築するためのフィードバックループを提供する。

評価・考察

評価では、APEX-SWE Observabilityベンチマークを用い、エージェントの成否とMTUの相関を分析した。図3に示す通り、成功タスクと失敗タスクにおけるツール利用の傾向が可視化されており、MTUを用いることで、モデルがどのような状況で「無駄なツール呼び出し」を繰り返すかの傾向を把握できる。

応用例と今後の展望

日本の企業におけるAIエージェント開発において、本手法はコスト削減に直結する。例えば、社内DB検索や外部APIを多用する業務自動化エージェントにおいて、MTUを分析することで、不要なクエリを排除し、APIコストとレスポンス時間を最適化できる。今後は、この指標をエージェントのプロンプトエンジニアリングや、ツール選択の学習（Fine-tuning）に直接組み込む手法の確立が待たれる。

結論

本論文は、LLMエージェントのツール利用を精度以外の観点から評価する枠組みを提示した。MTUという定量的な指標は、エージェントの設計・実装における「無駄」を排除し、より高効率なシステム構築を支援する強力なツールとなる。

注釈

• LLM-as-a-Judge: LLM自体を評価者として利用し、出力の質や妥当性を判定する手法。
• 推論軌跡 (Trajectory): エージェントがタスクを解決する過程で生成した一連の思考、ツール呼び出し、観測結果の記録。