エッジ AI 向け個人メモリ評価ベンチマーク MemArena の提案──50 エージェント 15 日間の対話でメモリバックエンドの性能差を検証

論文概要

エッジデバイス上で動作するオープンウェイトモデルを用いた個人用メモリ・アシスタントの評価は、これまで活動密度の高い対話や主観的な視点（ego-centric perspective）、一貫性のあるマルチセッションの環境を十分に網羅できていなかった。本論文では、MASimエージェントシミュレータを用いて50エージェントの15日間におよぶ対話（総計1030万対話テキストトークン、1エージェントあたり1日2万4100テキストのみの自己観察トークン）からなるシングルワールド型対話ベンチマーク「MemArena」を提案する。本研究は、検索、推論、信頼性の6つの評価次元にわたってグラウンド・トゥルースを自動生成し、5つのオープンウェイトリーダーモデルと複数のメモリバックエンド（Vanilla context、BM25-RAG、Oracle retrieval、Memobase、MemSearch）を組み合わせて網羅的な評価を実施した。

関連研究

従来のメモリ評価ベンチマークは、静的なテキストコーパスや単発の検索タスクに偏っており、パーソナルアシスタントが日常的に遭遇する動的でマルチセッション、かつプライバシーを考慮すべき文脈を再現できていなかった。本研究は、エージェントシミュレータによって長期的なエピソード記憶の蓄積と取得を動的にシミュレートする点で先行研究と異なる。

新規性と貢献

本研究の主要な貢献は、1) 50エージェントによる15日間の大規模な自己中心的対話ワールドをシミュレートするMASimとMemArenaベンチマークの構築、2) リーダーモデルのスケールアップと比較してメモリバックエンドの選定がコンテンツ精度により強い影響を与えることの証明、3) パーミッション制御における現状のバックエンドの脆弱性の定量化にある。

提案手法の詳細

MemArenaは、MASimエージェントシミュレータによって生成されたインタラクション履歴に基づき、リコール・推論・信頼性の各次元における正解データを自動生成する。オンデバイス環境での実行を想定し、オープンウェイトのリーダーモデルに対し、BM25-RAGやMemobase、MemSearchなどの多様なメモリバックエンドを接続して動作検証を行える設計となっている。

評価・考察

評価実験から、以下の3つの主要な知見が得られた。第一に、コンテンツ精度においてはリーダーモデルの規模拡大よりもメモリバックエンドの選択が支配的であり、Qwen3-0.6Bを用いた場合、MemobaseからMemSearchへの変更によって +32.5 / +19.2 パーセントポイント（pp）の精度向上が得られ、これはリーダーのモデルサイズ拡大による向上（+10.6 / +6.8 pp）を上回った。第二に、パーミッションを意識したアクセス制御は普遍的に機能しておらず、Oracleは過剰に情報を漏洩させ、他のバックエンドは開示に消極的すぎる傾向が見られた。第三に、メモリ検索による遅延は極小規模なリーダーモデルにおいてのみ問題となり、Spark GB10エッジノード上では、メモリ検索による追加遅延はBM25-RAG、Memobase、MemSearchの各方式でそれぞれ87ms、7ms、48msと固定の軽微な値に収まった。

応用例と今後の展望

本研究の成果は、スマートフォンやエッジデバイス上で動作するパーソナルAIアシスタント、プライバシー重視型メモリーシステムの開発において直接的な指針となる。日本のモバイルアプリ開発・エッジAI実装の現場（特にコンシューマー向けAIエージェント開発分野）において、モデルの巨大化だけでなく適切なメモリ検索バックエンドの選定が性能向上のボトルネック解消に不可欠であるという定量的根拠を提供する。今後の課題として、パーミッション制御の精度向上や、より多様なマルチモーダルデータへの対応が挙げられる。

結論

MemArenaは、エッジ向け個人エージェントのメモリ評価において、バックエンドの選択がリーダーモデルのスケール以上に重要であることを示した。今後はコードやシミュレータの公開を通じて、オンデバイスAIのメモリシステム開発の標準的な評価基盤として活用されることが期待される。

注釈

• Open-weight models: 重みパラメータが公開されているオープンな機械学習モデル。
• TTFT (Time to First Token): プロンプトを入力してから最初の1トークン目が出力されるまでの遅延時間。