エージェントの実行軌跡から大規模な検証環境を自動構築する Terminal-Universe──Terminal-Bench 2.1 で 11.9pt 向上を実証

論文概要

コードエージェントのポストトレーニングに不可欠な実行環境の不足を解決するため、既存のエージェントの実行軌跡（trajectory）から再利用可能な環境を自動構築するフレームワーク「Terminal-Universe」が提案された。パブリックなターミナルエージェントの軌跡から 37.3k 個のタスク十分な環境を生成し、Qwen3.5-27B の教師ありファインチューニングに適用した結果、Terminal-Bench 2.1 で 11.9 ポイント、EvoCode-Bench v2 MT@4 で 13.8 ポイントの性能向上が実証された。

関連研究

従来、コード生成やエージェントの学習においてはゼロから手動で環境を構築するか、静的なデータセットに依存するアプローチが主流であった。しかし、これらは拡張性に限界があり、多様な実行フィードバックを得るのが困難であった。本研究は、既存の膨大なエージェント軌跡自体が環境構造の情報を内包している点に着目し、動的な環境復元とタスク合成を同時に行う点で従来手法と一線を画す。

新規性と貢献

主要な貢献は、凍結されたデモに過ぎないエージェントの軌跡を、再クエリ可能な環境へと変換するスケーラブルな手法の確立にある。ファイル操作の履歴を利用してワークスペースを復元し、幅（クロスワークスペースクエリ）と深さ（マルチラウンドセッション）の双方の軸でタスクを拡張する点に学術的・実用的な新規性がある。

提案手法の詳細

Terminal-Universe は、軌跡に記録されたファイル操作を逆再生してエージェント変更前の状態を復元し、部分的なワークスペースを構築する。その後、補完エージェントが不足しているファイルや依存関係を補う設計となっている。この設計により、元の意図されたタスクの再構築だけでなく、全く新しいタスクの合成も可能になる。

評価・考察

パブリックなターミナルエージェント軌跡に適用したところ、37.3k 個のタスク十分な環境が生成された。Qwen3.5-27B モデルを用いた評価では、シングルラウンドの Terminal-Bench 2.1 で 11.9 ポイント向上、マルチラウンドの EvoCode-Bench v2 MT@4 で 13.8 ポイント向上を達成し、生成された環境の品質とスケーラビリティが検証された。

応用例と今後の展望

ソフトウェア開発の自動化やコードエージェント開発企業において、自社の過去の操作ログから高品質な評価・学習環境を自動生成する基盤として応用できる。今後の課題としては、より複雑な依存関係を持つ大規模コードベースへの拡張や、マルチラウンドセッションにおける対話精度のさらなる向上が挙げられる。

結論

本論文は、エージェントの軌跡を再利用可能な実行環境へ変換する Terminal-Universe を提案し、大規模な環境合成を通じてコードエージェントの性能を劇的に向上させられることを示した。

注釈

• 軌跡 (Trajectory): エージェントがタスクを達成する過程で実行したツールやコマンド、ファイル操作の履歴。