LLM エージェントの長期記憶評価ベンチマーク MERIT の提案──コスト考慮型評価で記憶の費用対効果と限界を実証

論文概要

LLMエージェントにおける長期記憶の評価は、従来は対話履歴の質問応答を測るLoCoMoやLongMemEvalなどの会話型リコールベンチマークに依存していた。これらは記憶された事実がツール利用エージェントの実際の動作を変更するかどうかを測定していない。本論文では、明示的なコスト会計の下でタスクを実行するエージェントに対する記憶の限界効用を測定するベンチマークおよびハーネスである MERIT (Memory Evaluation for Realistic Instrumented Tasks) を提案する。MERITは、初期エピソードの事実への依存性が自動リークチェックによって検証された3つのドメインのエピソード型ツール利用タスク、更新された事実のリコールで終わる困難度ラダー、制御された記憶の破損、およびすべての記憶操作の完全なトークンおよびドル単位の計測を提供する。

新規性と貢献

主要な貢献は、記憶の有無がエージェントのタスク成功率に与える影響を費用対効果（コスト）の観点から定量化した点にある。23,440件のエピソード（42.57ドル相当）にわたる実験により、メモリサイドを固定した3モデル×3シードのグリッド検証において、記憶の有無が依存タスクの成功率をリーク検証済みのフロアである0.00から0.55〜1.00へと劇的に引き上げることを実証した。また、更新された事実の扱いにおいて埋め込み検索が不安定であることや、完全なリプレイ（Full Replay）が経済的ではないことを明らかにした。

提案手法の詳細

MERITは、エピソード型ツール利用タスクを実行するための厳密な評価環境を提供する。自動リークチェックにより、エピソード初期の事実依存性を担保する仕組みを導入している。記憶機構の実装としては、埋め込みベースの検索手法だけでなく、構造化された事実ストアやLLM要約による更新時書き込み（Update-on-write）ストアなどを比較可能にしている。なぜこの設計にしたかといえば、静的なコンテキスト保持だけでなく、動的に更新される情報に対してエージェントがどのようにコストをかけずに正確に事実を処理できるかを分離して検証するためである。

Figure 1: 依存タスクのTSRの困難度ラダーとメモリ条件、ドメインごとの比較を示すグラフ。

評価・考察

23,440件のエピソードを通じた検証の結果、いくつかの重大な知見が得られた。更新された事実に対して、埋め込み検索はモデル間で0.30〜0.95と予測不可能な崩壊を起こし、最大シードギャップは0.45に達した。さらに、エージェントは正しく取得された値を活用できたのはわずか55%のケースに留まった。一方で、構造化ファクトストアやLLM要約による更新時書き込みストアは0.70〜1.00の範囲を維持し、ハイブリッド方式よりもファクトストア単体の方が優れていることが示された。また、完全なリプレイは常に非経済的であり、ドメインごとの最適条件は限界効用あたり2.7〜3.9倍の効率を示した。

Figure 2: スターター実装とリアル実装のメモリ条件（C2〜C5）におけるミディアムおよびハード層の依存タスクTSR比較。

応用例と今後の展望

本研究の成果は、金融業務やカスタマーサポートなどの複数ステップにわたるツール利用エージェントシステムを開発するソフトウェアエンジニアやテックリードにとって、長期記憶の実装方針を決定する上で重要な指針となる。特に国内の金融・テック企業等における実務環境において、大規模なログをすべてリプレイするのではなく、コスト効率と正確性のバランスが取れた構造化ファクトストアを採用する設計判断を裏付けるものである。今後の課題としては、より多様なエージェントワークフローへの適用と、リアルタイム更新時の耐障害性向上が挙げられる。

結論

本論文は、ツール利用LLMエージェントの長期記憶評価のためのMERITベンチマークを提案し、コスト効率と記憶機構の実態を明らかにした。埋め込み検索の限界と更新時書き込みストアの優位性を実証し、エージェント設計における費用対効果の重要性を示している。

注釈

RAG (Retrieval-Augmented Generation): 外部の知識ベースから関連情報を検索し、その情報を基にLLMの生成能力を補強する技術。
TSR (Task Success Rate): エージェントが与えられたタスクを成功させた割合を示す指標。