長文脈ターミナルエージェント向け合成タスク生成フレームワーク RST──1 タスク 0.05 ドルでのスケーラブルな学習データ構築を実現

論文概要

長文脈ターミナルエージェント向けの高品質な訓練データ作成コストは、指示・環境・参照解答・検証器の一貫性を保つ必要があるため、1 タスクあたり数百から数千ドルに達する高コストな課題となっている。著者らは、このスケーラビリティの課題を解決するため、再帰的検証済み合成フレームワーク「Recursive Synthetic Terminal Tasks (RST)」を提案した。検証済みのシードタスクを出発点として、参照解答の拡張、検証器と指示の再整合、サンドボックス環境での検証、および合格タスクの次回ラウンドへのシード再利用を 15 ラウンドにわたり実行し、1 タスクあたり約 0.05 ドルで 37,484 件のターミナルエージェント用タスクの生成に成功した。

関連研究

従来、ターミナル操作やソフトウェアエンジニアリングを行うエージェント向けのタスクは人間による手動作成に依存してきたが、開発コストとスケーラビリティに大きなボトルネックが存在していた。大規模言語モデルを用いた直接生成手法も試みられているが、指示と環境の一貫性が容易に破綻するという課題があった。本研究は、再帰的な検証プロセスを導入することで、コストを劇的に削減しつつ段階的に困難なタスクを構築する点で従来手法と一線を画す。

新規性と貢献

本研究の最大の新規性は、タスクの難易度を自律的かつ安全に高めながら、数万件規模の長文脈ターミナルタスクを低コストで量産できる再帰的合成パイプラインの確立にある。ラウンドを重ねるごとにタスクの複雑性が指数関数的に増大するにもかかわらず、合成の歩留まりや検証通過率が低下しない点が学術的・実用的な大きな貢献である。

提案手法の詳細

RST フレームワークは、シードタスクの拡張、環境と検証器の整合化、サンドボックスによる検証という一連のループを再帰的に回す設計を採用している。この設計により、単なるランダムな指示の改変ではなく、エージェントが長期的な依存関係を処理せざるを得ない構造化された複雑なワークフローを体系的に構築できる。

評価・考察

15 ラウンドを通じた評価では、ラウンドの進行に伴いタスクの難易度が劇的に上昇することが示されている。中央値の参照解答の長さは第 1 ラウンドの 67 行から第 15 ラウンドの 374 行へと増加し、実行コマンド数の中央値も 40 から 244 に増加した。さらに、DeepSeek-V4-Pro の pass@4 は $R_1$ の 90% から $R_{15}$ の 2.5% へと低下し、タスクの困難化が数値で裏付けられている。

合成されたタスクを用いて Qwen3.5 軌跡の rejection sampling による教師ありファインチューニングおよびエージェント的 PPO を行った結果、Qwen3.5-27B は Terminal-Bench 2、Terminal-Bench Hard、Long-Horizon Terminal Bench の各ベンチマークにおいてベースモデル比でそれぞれ 20.0%、41.2%、21.9% の相対的向上となる 49.44%、32.00%、22.07% のスコアを達成した。

応用例と今後の展望

本手法で生成された大規模かつ高品質なターミナルタスクデータセットは、自律型ソフトウェアエンジニアリングエージェントやクラウドインフラ管理エージェントの開発において実務的なインパクトを持つ。特に国内のクラウドインフラ運用や自動化ツール開発の分野において、高信頼な長文脈エージェントの訓練データ不足を解消する強力な基盤となる。今後の課題としては、さらに多様なドメインや予期せぬエラーハンドリングを伴う環境への拡張が挙げられる。

結論

RST フレームワークは、長文脈ターミナルエージェント向けの高品質な学習データを低コストかつスケーラブルに生成可能であることを証明した。15 ラウンド後も性能や検証率の頭打ちが見られないことから、さらに大規模なタスク合成の可能性が示唆されている。

注釈

• Terminal-Bench: ターミナル環境におけるエージェントの実行能力を評価するためのベンチマーク。
• rejection sampling: モデルの出力から特定の基準を満たすサンプルのみを選択・抽出する手法。