長文脈 LLM エージェントの進化戦略によるフルパラメータ最適化手法 Agentic ESOpt──最小限の GPU メモリで WebArena-Lite のベースライン比 6.69% 向上を達成

論文概要

長文脈の相互作用やスパースな報酬を伴う長文脈 LLM エージェントのファインチューニングにおいて、従来のバックプロパゲーションベースの強化学習（RL）が抱える計算コストとクレジット割り当ての課題を克服するため、進化戦略（ES）を用いた新しいフルパラメータ最適化フレームワーク「Agentic ESOpt」が提案された。本手法は、推論レベルの最小限の GPU メモリで大規模言語モデルのフルパラメータ最適化を可能にし、WebArena-Lite においてベースライン比 6.69% の精度向上を実現している。

関連研究

単一ターンにおける LLM のファインチューニングや、報酬モデルを用いた強化学習（PPO や DPO 等）は広く研究されてきた。しかし、複数ステップにわたる長期的なエージェント推論においては、報酬の遅延やバックプロパゲーションのメモリ肥大化がボトルネックとなっており、大規模モデルへの適用が困難であった。本研究は、勾配計算を必要としないブラックボックス最適化である進化戦略に着目し、長文脈エージェントへの適用を初めて本格的に検証した点に新規性がある。

新規性と貢献

Agentic ESOpt の主要な貢献は以下の 3 点である。第一に、モデルの拡張性であり、勾配を保持しないことで推論レベルのメモリ消費量のみでフルパラメータの最適化を可能にした。第二に、柔軟性であり、ブラックボックスなフィードバックインターフェースによりプロンプト空間の最適化などと容易に統合できる。第三に、長文脈の拡張性であり、軌跡レベル（trajectory-level）でのパラメータ帰属を行うことで、ホライゾンが長くなっても報酬の分配が破綻しない設計となっている。

提案手法の詳細

Agentic ESOpt は、パラメータとコンテキストの柔軟な共進化を目的としたフルパラメータエージェント最適化フレームワークである。

各ステップにおいて、現在の LLM パラメータ周辺の摂動をサンプリングし、得られたエージェントを報酬によって評価した上で、オンラインの報酬加重アップデートを適用する。また、探索と適応のトレードオフを改善するため、摂動スケール $\sigma$ に対するコサイン減衰スケジュールが導入されている。これにより、試行錯誤の初期には広範囲な探索を行い、後期には安定した収束を図る直感的な設計となっている。

評価・考察

WebArena-Lite を用いた実験では、Qwen-3.5-27B のフルパラメータ最適化により、No Skill ベースラインと比較して 6.69% の性能向上が確認された。また、テスト時自動ヒューリスティック設計においては、オンラインでのプロンプト・パラメータ共進化が機能し、評価を行った 36 の設定のうち 28 の設定で既存の比較対象ベースラインを上回る成果を収めている。

応用例と今後の展望

本手法は、Web ブラウジングや複雑なツール利用を伴う長期タスク向けのエージェント開発において極めて高い実用性を持つ。国内の Web サービス業や金融・EC 分野における、数万トークンを超えるコンテキストを処理しながら自律的に動作する大規模エージェントの開発現場において、GPU リソースの制約を大幅に軽減しながらファインチューニングを実施できる実務インパクトがある。今後は、より多様なタスク環境や大規模モデルへのスケーラビリティ検証が期待される。

結論

Agentic ESOpt は、進化戦略を用いることで長文脈 LLM エージェントのフルパラメータ最適化を最小限の GPU メモリで実現し、複雑なエージェント推論における強化学習の限界を突破する有効な手法であることを実証した。

注釈

• Evolution Strategies (ES): 勾配情報を必要とせず、パラメータ空間の摂動と報酬評価のみに基づいて最適化を行うブラックボックス最適化手法の総称。
• WebArena-Lite: Web 環境でのエージェントの自律的なタスク遂行能力を評価するためのベンチマーク。