エージェントの推論レイテンシを 44.9% 削減する実行機構 Speculative Macro Commit

論文概要

ツールを使用する LLM エージェントは、モデルの推論時間だけでなく、逐次的なアクションと環境観測の繰り返し（アクション・オブザベーション・ターン）に起因する壁時計時間の遅延に直面している。本論文では、大規模な権限を持つアクターモデルと高速なドラフターモデルからなる 2 階層エージェントシステムに向けたランタイム機構「Speculative Macro Commit (SMC)」を提案する。SMC は、学習トレースから複数アクションの骨組み（マクロ）を抽出してマクロライブラリに保存し、実行時にドラフターモデルが予測したアクションチェーンと照合する。アクターの次のツールコールが最初にドラフトされたアクションと一致した場合、残りの事前実行済みドラフトステップとその観測結果を公式の軌跡に一括してコミットする。

新規性と貢献

主な貢献は、マルチアクションの先読み実行を可能にするランタイム機構の提案である。学習トレースからの「マクロライブラリ」の構築と、隔離された環境スナップショット上での高速ドラフターモデルによるアクションチェーンの予測・実行を組み合わせることで、従来の逐次実行および単一ステップの Speculative Actions と比較して、精度を維持しながら大幅なレイテンシ削減を達成した点に学術的・実用的な新規性がある。

提案手法の詳細

SMC は 2 階層のエージェントシステムを採用している。Qwen3.5-27B INT4 を権限を持つアクターモデルとして配置し、公式の軌跡を生成させる一方で、より小規模な Qwen3.5-4B をスペキュラティブ・ドラフターモデルとして使用し、隔離された環境スナップショット上で将来のアクションチェーンを継続的に予測・実行する。トレーニングデータから頻出するマルチアクションの骨組みをマイニングしてライブラリ化し、ランタイムでのマッチング精度を高めている点が設計上の要である。

評価・考察

評価実験では、 $\tau^2$ -Bench の Telecom サブセットおよび AppWorld ベンチマークが使用された。 $\tau^2$ -Bench Telecom サブセットにおいては、SMC は逐次実行と比較して 18.59%、Speculative Actions (SA) ベースラインと比較して 10.23% のレイテンシ削減を、逐次エージェントと同等の全体精度を維持しながら達成した。また AppWorld では、タスク完了率のわずかな低下を伴いつつも、逐次実行に対して 44.9%、SA ベースラインに対して 7.7% の壁時計時間の短縮を実証した。

応用例と今後の展望

本手法は、API 連携や複数ツールの呼び出しを伴う高度なカスタマーサポート自動化や、金融・通信分野のエンタープライズ向けエージェントシステムにおいて実用的なインパクトを持つ。日本のソフトウェア開発現場やインフラ運用分野において、複数の外部ツールを逐次呼び出す複雑なワークフローを構築する際、エージェントの応答レイテンシを顕著に改善する実用的なアプローチとして導入が検討される。今後の課題としては、タスク完了率の微減を抑えつつ、より多様な環境スナップショットへの適用性を高めることが挙げられる。

結論

Speculative Macro Commit (SMC) は、マルチステップのスペキュラティブ実行を再利用し、エージェントの遅延を単一ステップの限界を超えて削減するための実用的なフレームワークを提供する。実験を通じて、精度を犠牲にすることなく大幅なレイテンシ削減が可能であることが示された。

注釈

Speculative Decoding: 出力の高速化を目的として、軽量なモデルで先行生成を行い、大規模なモデルで検証・修正を行う手法。
ツール使用エージェント: LLM が外部の API やデータベース、ブラウザなどのツールを自律的に選択・実行してタスクを遂行するシステム。