エンタープライズ向けコードエージェント手法 CRAFT──プロンプトのスキーマ依存を排除し、推論コストを 1/9 に削減

論文概要

エンタープライズ領域におけるコードエージェントの展開において、プロンプトへの網羅的なスキーマやツール仕様の注入は、推論コストの増大やスキーマ変更への脆弱性を引き起こす要因となっていた。本論文では、スキーマ知識をモデル自身のポストトレーニングに組み込む 2 段階のレシピ「CRAFT」を提案している。広告アナリティクス領域を対象とした評価において、従来のスキーマ注入型ベースラインと比較してコンポジット Agent Score を +9.6 pp 向上させつつ、入力トークン量を約 1/9 に削減することに成功している。

関連研究

従来のエージェント構築手法では、プロンプト内に利用可能な API 定義やデータベースのスキーマを直接埋め込む手法（スキーマスタッフィング）が主流であった。しかし、このアプローチはコンテキスト長を圧迫し、マルチターン対話での性能劣化やコスト増大を招く。本研究は、事前学習やプロンプトエンジニアリングに頼るのではなく、ポストトレーニングの段階でスキーマ構造やツール使用行動をモデルに内在化させる点で先行研究と異なる。

新規性と貢献

本研究の主要な貢献は、プロンプト内でのスキーマ依存を完全に排除し、モデルの内部重みにスキーマ知識とプランニング能力を焼き付ける点にある。具体的には、Tri-Gate フィルターによる高品質なトレーニング軌跡のキュレーションと、実行結果に基づいた強化学習を組み合わせることで、実運用に必要な一貫性と回復力を担保している点に学術的・実用的な価値がある。

提案手法の詳細

CRAFT は大きく 2 つのステージから構成される。第 1 ステージでは、スキーマをあえて取り除いた状態での supervised fine-tuning（PLAN SFT）を実施し、検証済みの軌跡からドメイン構造化された計画と実行可能な動作を学習させる。これにより、プロンプトによる詳細な解説がなくても正しいコード生成を行う基盤を作る。第 2 ステージでは、実行結果に基づく強化学習（Execution-shaped Reinforcement Learning）を適用し、ツール選択の精度、コード品質、プランとコードの一貫性、および失敗した実行からのリカバリ能力をポリシーにアライメントする。さらに、データ選定には Tri-Gate フィルター（実行検証・データ整合性チェック・LLM ジャッジによる推論監査）を用いている。

評価・考察

広告アナリティクスにおける 25 のスキーマリンクされたコアエンティティと 30 のエージェントワークフローを用いた評価環境で検証が行われた。スキーマ注入型ベースラインとの比較において、CRAFT はコンポジット Agent Score で +9.6 pp、一貫性（consistency）で +4.1 pp、マルチターン一貫性（multi-turn coherence）で +4.2 pp の向上を記録した。また、入力トークン量を約 9x 削減し、スキーマ探索ループを最大 5x 低減させるなど、コスト面と効率面で顕著な改善を示している。

応用例と今後の展望

広告運用や大規模データプラットフォームを持つアドテク企業・マーケティング関連の事業会社において、社内 API やデータウェアハウスのスキーマ構造を学習させたカスタムコードエージェントの運用コストを劇的に下げる実務インパクトを持つ。今後は、報酬設計における限界の克服や、大規模なマルチターンツール利用を支えるトレーニングインフラストラクチャの拡張が課題として挙げられる。

結論

CRAFT は、プロンプトへの過度な依存をポストトレーニングによって解消し、エンタープライズ水準の信頼性と低コストを両立させるコードエージェントの新しいトレーニングパラダイムを提示した。

注釈

• スキーマ: データベースや API におけるデータの構造や型、関係性の定義。
• トークン: LLM がテキストを処理する際の最小単位。