LLM エージェントの記憶制御を書き込み時から読み出し時へ転換する Just-in-Time Memory──ALFWorld で 16.2pt 向上を実証

論文概要

LLM エージェントが過去の経験を再利用して将来のパフォーマンスを向上させるメモリシステムにおいて、既存の設計の多くは書き込み時に記憶を整理していた。Yefan Zhou らによる本研究では、タスク完了時に軌跡を固定の成果物に圧縮する従来の手法の限界を指摘し、未加工のトラジェクトリを保持してタスク判明時の読み出し時にキュレーションを行う「Just-in-Time Memory (JitMem)」を提案している。ALFWorld、WebShop、 $\tau^2$ -bench の各ベンチマークにおいて、JitMem は既存の書き込み時メモリ手法と比較してそれぞれ 16.2、16.3、3.9 パーセントポイントの絶対成功率の向上を達成した。 Figure 1: JITMEMの概要図で、(a)推論パイプラインと(b)トレーニングパイプラインを示しています。

新規性と貢献

本研究の最大の新規性は、記憶のキュレーションを書き込み時から読み出し時へと完全に転換した点にある。検索されたトレースと新しいタスクが与えられた時点で、メモリキュレータが直近のニーズに合わせたコンパクトでタスク適応的なペイロードを合成する。これにより、即座のタスク成功から直接キュレータを訓練することが可能となり、遅延したユーティリティ信号や関連タスクの人工的なグループ化の必要性を回避している。 Figure 3: 同じ過去の経験から、タスクに応じて異なるペイロード（状態変更向けと配置向け）を生成する様子を示しています。

提案手法の詳細

JitMem の核心は、あらかじめ要約を作成するのではなく、生データを保持する点にある。クエリ（新しいタスク）が入力されたタイミングで、過去の生トラジェクトリから必要な情報を抽出し、文脈に最適化されたペイロードを生成する。この設計により、同じ過去の経験からであっても、例えば「状態変更向け」と「配置向け」といったように、タスクの要求に応じて動的に異なる情報を組み立てることが可能になる。トレーニング時には、その読み出し結果が即座のタスク成功に寄与したかどうかのフィードバックを直接利用できるため、強化学習の安定性が向上する。

評価・考察

ALFWorld、WebShop、 $\tau^2$ -bench の三つの環境で評価を行った結果、JitMem はベースラインなしのエージェントや、ヒューリスティックおよび学習済みの書き込み時メモリ手法を一貫して上回特長を示した。具体的には、最強のベースラインと比較して ALFWorld で 16.2pt、WebShop で 16.3pt、 $\tau^2$ -bench で 3.9pt の絶対成功率の向上を記録している。 Figure 2: ALFWorldとWebShopにおけるJITMEM-baseおよびRL学習済みJITMEMのアブレーション結果。さらに特筆すべき点として、訓練を受けていない未訓練のキュレータであっても既存のベースラインと同等以上の性能を発揮しており、タスク適応的な読み出し時キュレーションというアプローチ自体が性能向上の主要な源泉であることが示されている。

応用例と今後の展望

実務的なインパクトとして、顧客サポートや複雑なマルチステップのワークフローを自動化するエンタープライズ向け LLM エージェント開発において、過去の失敗や成功体験を動的に再利用するアーキテクチャの標準となる可能性がある。特に、ソフトウェアエンジニアリングや EC の自動操作など、長期的なコンテキスト管理と柔軟なタスク適応が求められる分野での実装において、メモリ効率と成功率の同時改善が期待できる。今後の課題としては、長大なトラジェクトリを蓄積する際のストレージコストや検索レイテンシのスケーリング検証が挙げられる。

結論

Just-in-Time Memory は、LLM エージェントの記憶管理を書き込み時の固定要約から、読み出し時の動的合成へと転換する強力なフレームワークである。遅延報酬問題を回避しつつ即座のタスク成功に基づいて最適化できるこの手法は、エージェントのパフォーマンスを大きく引き上げる実用的な設計指針を提供する。

注釈

トラジェクトリ (Trajectory): エージェントがタスクを実行する過程での行動や状態遷移の履歴。
クレジット割り当て問題 (Credit Assignment Problem): 強化学習などにおいて、最終的な報酬がどの行動や判断に起因するのかを特定する困難さ。