LLM エージェントのツール実行を高速化する TomasuLLM──順序外実行で SWE-bench Verified を 1.31 倍に向上

論文概要

LLM エージェントを用いたソフトウェア開発において、コンパイラやテストスイート、リポジトリ操作などの外部ツール実行にかかるレイテンシがボトルネックとなっている。Jiangnan Yu らによる本論文では、コンピュータアーキテクチャにおける「順序外実行（Out-of-Order Execution）」の概念を LLM エージェントのランタイムに応用した「TomasuLLM」を提案する。TomasuLLM は、エージェントの将来の行動をドラフトし、分離されたコピーオンライトサンドボックス上で順序外実行させることで、ベースエージェントと比較して SWE-bench Verified で 1.31 倍、Terminal-Bench 2.0 で 1.35 倍の性能向上を達成した。4,010 件の監査済みコミット検証において誤受入れは 0 件であった。

関連研究

従来のエージェントシステムにおける高速化手法としては、単純なプロンプトの最適化や逐次的なプレフェッチ（Prefetch）が試みられてきた。しかし、これらはツール間の依存関係や順序制御が不十分であり、複雑なリポジトリ環境での安全性や正確性を担保することが難しかった。本研究は、CPU が持つプロセッサの投機的実行と順序外コミットの仕組みをソフトウェアエージェントのランタイムに持ち込むことで、この課題に直接アプローチしている。

新規性と貢献

本研究の最大の貢献は、LLM エージェントのツール呼び出しにおける「順序外実行ランタイム」を初めて実用化した点にある。逐次的なインターフェースの裏側で予測可能な処理を早期に実行し、依存関係や副作用をトレースした上で、検証済みのトラジェクトリ順序（軌跡の順序）でのみ結果をコミットする仕組みを構築した。これにより、サブ秒から数分に及ぶツール呼び出しの待ち時間を効率的に隠蔽することに成功している。

提案手法の詳細

TomasuLLM は、エージェントの将来のアクションを予測・ドラフトし、それらを独立したコピーオンライト（Copy-on-Write）サンドボックス環境で並行実行するランタイムである。各ツールの実行結果は、コミット済みの状態に対して検証された後、順序通りに反映される。なぜこの設計にしたかといえば、エージェントの処理は途中のステップが失敗した際の巻き戻しコストが高いため、隔離された環境で事前に計算を進め、正当性が確認されたものだけを確定させることで、タスクの実行正確性を完全に維持するためである。

評価・考察

評価では、ツール呼び出し時間がサブ秒から数分におよぶ 3 つのベンチマークを使用している。100 件の SWE-bench Verified タスクで 1.31 倍、28 件の Terminal-Bench 2.0 タスクで 1.35 倍、18 件の SWE-Marathon セッションで 1.27 倍のマッチドプログレス（一致した進捗）を達成した。4,010 件のコミット検証レコードにおいて誤受入れ（false accepts）がゼロであったことは、このランタイムが実用的な正確性を担保している強力な根拠となる。

応用例と今後の展望

実務インパクトとして、国内のソフトウェア受託開発や大規模リポジトリの保守運用を行うエンジニアリングチームにおいて、CI/CD パイプラインやテスト実行を伴う自律型コーディングエージェントの待ち時間を大幅に削減できる。特に数分単位のテストスイートを持つ中規模以上のプロジェクトにおいて、エージェントの作業スループット向上に直結する。今後の課題としては、より予測が困難な複雑な分岐を持つエージェントフローに対するドラフター精度の向上が挙げられる。

結論

TomasuLLM は、CPU 設計の知見を LLM エージェントに応用することで、正確性を犠牲にすることなくツール実行のレイテンシを効果的に隠蔽できることを示した。エージェントランタイムの標準的なアーキテクチャに影響を与える重要な成果である。

注釈

• 順序外実行 (Out-of-Order Execution): CPU がプログラムの記述順序にとらわれず、依存関係のない命令を並行して実行する仕組み。
• コピーオンライト (Copy-on-Write): データの複製が必要になった際、実際にデータが変更されるまで複製を遅らせることで効率化を図る技術。