2万件超のプロファイルから最適エージェントを動的取得する LLM Agents Factory

論文概要

Large language model (LLM) agents において、ユーザーリクエストごとに動的にエージェントを構築する手法は計算コストや不安定性の課題を抱えていた。本論文では、2万件以上の事前定義済みエージェントプロファイルを活用し、セマンティック検索によってドメイン特化型エージェントをオンデマンドで構築するフレームワーク「LLM Agents Factory」を提案する。

関連研究

従来のエージェント生成手法（例: AutoGen など）は実行時における動的なプロンプト設計やロール専門化を行っていたが、コストと安定性の面で実運用上の制限があった。本研究は、動的生成の代わりに構造化されたエージェントリポジトリからの検索ベースの構築を採用することで、コスト効率と制御性を両立している。

新規性と貢献

2万件を超えるWikipediaグラウンデッドなエージェントプロファイルベースを用意し、セマンティック検索によるエージェントプロファイルの取得、およびコンパクトなモデルへの蒸留による直接生成の2つのモードをサポートする点が新しい。これにより、120B規模のバックボーンを用いた AutoGen と同等の品質を、大幅に低い推論コストで達成している。

提案手法の詳細

LLM Agents Factory は、20K以上のエージェントプロファイルプールからユーザーのリクエストやドメインに合致するものをセマンティック検索で引き当てる。さらに、検索結果をコンパクトなモデルへファインチューニング・蒸留することで、単発のエージェント生成におけるレイテンシとコストを最適化する設計になっている。

評価・考察

MMLU、BIG-bench、BIG-bench Hardを用いたシングルエージェントシナリオでの実験により、検索ベースのエージェント構築が非エージェントベースラインの精度を上回ることを実証した。また、120Bバックボーンを持つ AutoGen と同等の品質をより低い推論コストで維持できることが確認されている。

応用例と今後の展望

金融やカスタマーサポートといったドメイン特化型のタスクにおいて、計算コストを抑えつつ専門性の高いエージェントをデプロイするユースケースで有用である。日本のエンジニアやテックリードが実務でマルチエージェントシステムをコスト効率よく導入する際の有力な選択肢となり得る。今後の課題としては、プロファイルの網羅性向上や多様なマルチエージェント環境への拡張が挙げられる。

結論

構造化されたエージェントリポジトリからの検索に基づくエージェント構築は、動的生成におけるコストと安定性の課題を解決する実用的なアプローチであり、産業応用の厳しい要求に応えるコスト効率の高い代替手段となる。

注釈

• LLM Agents Factory: 多数の事前定義済みエージェントプロファイルから最適なものを検索・抽出・蒸留して利用するフレームワーク。
• セマンティック検索: キーワード一致ではなく、文脈や意味の近さに基づいて情報を検索する手法。