IBM Research、エージェントの非決定性エラーを半減する Consistency Analyzer を公開
平均成功率 77.4% に対し全 5 回成功が 53.0% に留まる一貫性ギャップを、過去の軌跡から不安定な判断点を特定してガイドライン化することで 12.0 ポイントまで圧縮した。
リリース: 2026-09-15 · 読了 3 分記事の要約
1. 核心（What）
- IBM Research はエージェントの実行一貫性を測定・改善する新コンポーネント「Consistency Analyzer」および Consistency Guidelines を発表した。
- AppWorld ベンチマークを用いた評価で、GPT-4.1 を使用した ReAct エージェントの平均成功率と全勝率の間にある 24.4 ポイントのギャップを実証した。
- Consistency Analyzer は記録された 1 つの実行軌跡からフリップしやすい（変動しやすい）決定ポイントを k=5 のリサンプリングで検出する。
- 検出結果を ALT-Evolve のガイドラインとしてコンテキストに再注入することで、全体の一貫性ギャップを 12.0 ポイントにまで縮小した。
2. 影響（Why）
- 平均精度が隠す本番の信頼性リスク: Mean@k の高得点はプロダクションでの安定動作を保証しないため、全勝率である Pass^k を基準に据えてエージェントの信頼性を評価する設計思想への転換が迫られる。
- 国内エンタープライズの評価基準の変更: 金融や契約処理などの厳格な業務でエージェントを運用する国内の業務システム開発チームは、非決定性によるランダムな失敗を防ぐための仕組みを評価プロセスに組み込む必要がある。
3. 根拠・詳細（How）
- Consistency Analyzer による検出機構: 記録された単一の軌跡に対し、既存のコンテキストを用いて各判断ステップで k=5 のコンプリーションを要求する 1 回のオフラインモデル呼び出しを行い、トークン分布の平坦さをブラックボックスにスコアリングする。
- ALTK-Evolve を介したガイドライン生成: 検出された不安定なステップを標準的な ALTK-Evolve 形式のストレージおよびリトリーバルパイプラインに接続し、正規表現のマッチングや検索結果の検証といった再利用可能なルールを自動生成して推論時に注入する。
4. 展望・課題（Next）
- 応用範囲の拡大と追加検証: AppWorld 以外の多様なタスクや異なるベースモデルにおける一貫性改善の効果検証が今後の課題となる。