長文脈サーチエージェント向け学習手法 ABSeeker──Qwen3.5-4B ベースで 8.5k 例を用い大規模モデルに匹敵する精度を実現

論文概要

長文脈サーチエージェントは、検索・取得・検証・統合といった複数ステップを連続して実行し回答に到達する必要がある。しかし、従来の教師あり微化学習（SFT）や強化学習（RL）では、軌跡内のすべてのステップを一律に扱っていたため、有効な行動と誤った行動や冗長な行動を区別できないという課題があった。本論文では、回答から逆行して中間手がかりを復元しステップごとの報酬を付与する Answer-Backtracked Credit Assignment（ABC）フレームワークを提案し、これを用いて学習した 4B パラメータ規模の ABSeeker が、同規模のエージェントを大きく上回り約 30B 規模の大規模モデルに匹敵する性能を達成したことを報告している。

関連研究

従来のエージェント学習手法では、軌跡全体の結果に基づいて報酬を付与するスパースなアプローチが主流であった。この方法では、失敗した軌跡に含まれる有用な部分行動や、成功した軌跡に含まれる冗長なステップを区別することができず、学習効率が頭打ちになる問題があった。本研究は、結果（アンサー）から逆行して個々のステップの貢献度を精密に評価する手法を導入することで、この限界を克服する。

新規性と貢献

本研究の主要な貢献は、スパースな軌跡レベルの結果を密なステップレベルの監督信号に変換する ABC フレームワークの提案である。これにより、失敗した軌跡内にある有用な行動をも報酬対象に含め、誤った行動や冗長な行動を強力に抑制することが可能となった。また、8.5k 例という少量のデータセットを用いて、Qwen3.5-4B をベースにした ABSeeker を効率的に構築している。

提案手法の詳細

ABC フレームワークは主に 2 つのコンポーネントで構成される。第一に、回答から逆行して問題を解決するために必要な中間手がかりを復元する「Answer-Backtracked Clue Recovery」を行う。第二に、これらの中間手がかりに対して各検索ステップを評価し、バイナリの結果報酬を密なステップ報酬に変換する「Clue-Anchored Step Scoring」を適用する。この仕組みにより得られたステップ報酬を基に、各ターンの損失の重み付けを行う ABC-SFT と、GRPO の報酬としてステップスコアを利用する ABC-GRPO を開発している。

評価・考察

Qwen3.5-4B をベースに 8.5k 例を用いて訓練された ABSeeker は、BrowseComp で 37.3%、BrowseComp-ZH で 39.1% のスコアを記録した。さらに文脈管理（context management）を適用した場合には、それぞれ 55.3% および 52.9% へと精度が向上した。これらの数値は、同規模（4B）のエージェントを大きく引き離し、約 30B 規模の大規模モデルのパフォーマンスに匹敵するものである。

応用例と今後の展望

本手法は、複雑なWeb検索やマルチステップの情報統合を伴う検索拡張生成（RAG）システムの構築において実用的なインパクトを持つ。特に、金融情報解析や法務リサーチ分野における中規模 LLM（4B 級）のエージェント実装において、推論コストを抑えつつ大規模モデル並みの検索・検証精度を達成するための有力な設計指針となる。今後の課題としては、より多様なタスクや動的な外部環境における汎化性能の検証が挙げられる。

結論

本論文は、長文脈サーチエージェントの訓練において、回答からの逆行に基づく細粒度のクレジット割当（ABC）が極めて有効であることを実証した。8.5k 例の少量のデータと 4B パラメータのベースモデルにより、大規模モデルに匹敵する探索・統合能力を実現しており、エージェント学習の効率化に新たな道を開くものである。

注釈

• ABSeeker: 回答逆行型クレジット割当を用いて訓練された長文脈サーチエージェント。
• BrowseComp: サーチエージェントの検索・推論能力を評価するためのベンチマーク。
• GRPO: Group Relative Policy Optimization。強化学習アルゴリズムの一種。