AIエージェントの実行を完全再現するCLIフレームワーク「agrepl」──外部通信を遮断し再現率100%を達成

論文概要

AIエージェントシステムは、LLMのサンプリングの揺らぎや外部APIのステート変化、ネットワークインフラのノイズに起因し、一度実行した処理を完全に再現することが困難である。本論文では、開発者向けCLIフレームワーク「agrepl」を提案する。これは、中間者攻撃（MITM）プロキシを用いて外部通信をトランスポート層で傍受・シリアライズし、隔離された環境で再生することで、エージェントの実行再現率（F）1.0を達成した。

関連研究

既存のオブザーバビリティプラットフォームは実行ログの記録には対応しているが、外部環境との相互作用を含めた「隔離された状態での完全な再実行」はサポートしていない。本研究は、記録・再生（Record/Replay）システムをLLMエージェントの非決定的な実行環境に適用した点で先行研究と一線を画す。

新規性と貢献

本研究の主な貢献は以下の3点である。

1. エージェント実行モデルの形式化と、決定論的再実行を保証する不変条件の証明。
2. HTTPヘッダーの差異を「信号」と「ノイズ」に分類するノイズ対応差分アルゴリズムの実装。
3. Go言語で実装された、外部ネットワークアクセスゼロで動作する静的バイナリツールとしての提供。

提案手法の詳細

agreplは、エージェントと外部サービス間にMITMプロキシを配置し、すべてのリクエストとレスポンスを構造化トレースとして記録する。再生時には、定義されたリクエストキーマッチング関数 $K(s)$ を用いて、記録時の環境を厳密に再現する。特に、HTTPヘッダーに含まれるタイムスタンプやセッションIDなどのノイズを排除し、エージェントのロジックに影響を与える要素のみを抽出することで、再現性を担保している。

評価・考察

5つのワークロード（計250回の再生インスタンス）を用いた評価において、再現忠実度 $F=1.0$ を記録した。また、実際のAPI通信を模倣してローカルで再生するため、ステップあたりのレイテンシを中央値で98.3%削減することに成功した。この結果は、エージェントのデバッグにおいて、ネットワーク遅延やAPI制限を無視した高速なイテレーションが可能であることを示している。

応用例と今後の展望

本手法は、複雑なツール呼び出しを行うAIエージェントの開発現場において、再現困難なバグの特定を大幅に効率化する。特に、金融や医療など、エージェントの推論プロセスに厳密な監査性が求められる分野において、実行トレースの保存・共有ツールとして活用できる。今後の課題として、動的に変化するAPIスキーマへの適応や、より複雑な非同期実行環境への対応が挙げられる。

結論

agreplは、AIエージェントの実行を決定論的に再現するための堅牢なフレームワークである。MITMプロキシによる通信の傍受とノイズ除去アルゴリズムにより、高い再現性と低レイテンシの両立を実現した。

注釈

• MITMプロキシ: 通信経路に割り込み、パケットを傍受・改変・記録する技術。
• 決定論的再実行: 同じ入力に対して常に同じ出力を生成し、実行過程が完全に再現される状態。