Eコマース向けCatalogAgent：スーパーバイザー仲介によるLLMの自己学習システム

論文概要

Eコマースサイトにおける製品カタログの属性（材料、色、形状など）抽出において、LLMベースのGeneratorとEvaluatorの不一致を解消するエージェントシステム「CatalogAgent」が提案された。Supervisor Agentが両者の対立を仲介し、その学習内容をMemory Baseに蓄積してコンテキストエンジニアリングを通じてモデルへ還元することで、人間を介さない継続的な自己改善を実現する。

関連研究

従来、LLMによる属性抽出（Structured Attribute Prediction）では、生成モデルと評価モデルを組み合わせる手法が一般的であった。しかし、両モデルの判断が食い違う際の解決策は限定的であり、多くの場合に人手による修正が必要であった。本研究は、この不一致解消を自動化するエージェントアーキテクチャを構築した点で先行研究と一線を画す。

新規性と貢献

本研究の最大の貢献は、Supervisor Agentによる仲介と、その知見をコンテキストとして再利用する「自己学習サイクル」の導入にある。これにより、特定のドメイン知識をモデルの重みを更新することなく、プロンプト内のコンテキストとして動的に注入できる。

提案手法の詳細

本システムは以下のコンポーネントで構成される。

• Generator / Evaluator: 属性抽出を行うLLM。
• Supervisor Agent: 両者の判断が分かれた際に介入し、最終的な正解を決定する。
• Memory Base & Summarizer: 過去の仲介事例を蓄積し、パターンを要約して「学習」として抽出する。

この設計の直感的な理由は、個別のエラーケースを単なるログとして捨てるのではなく、構造化された知見としてLLMのコンテキストに注入することで、モデルの推論能力を即座に補強できる点にある。

評価・考察

実験の結果、本手法を適用することでGeneratorの性能が15.24%、Evaluatorの性能が13.98%向上した。特に、製品のメイン画像とサブ画像から得られる信号を統合する際の判断精度が向上しており、複雑なカタログデータにおいても高い堅牢性を示している。

応用例と今後の展望

日本のEコマース事業者や大規模小売業において、膨大な製品データの属性付与を自動化する実務インパクトがある。特に、人手によるデータクレンジングコストが月間数千時間規模で発生しているような環境では、本手法による自動化の恩恵は大きい。今後は、Supervisor Agent自体の推論コストをいかに最適化するかが課題となる。

結論

CatalogAgentは、Supervisor Agentを介した自己学習システムにより、LLMベースの属性抽出精度を大幅に引き上げることに成功した。コンテキストエンジニアリングによる能力転移は、モデルの微調整（Fine-tuning）を伴わない効率的な改善手法として有効である。

注釈

• Structured Attributes (SA): 製品の仕様や特徴を構造化したデータ項目。
• Context Engineering: モデルの推論時に、関連する知見や学習データをプロンプトに埋め込み、出力品質を制御する手法。