評価ツール Agent Evaluation Metric を AWS が公開──マルチターン会話のエラー因果関係をターン単位で分離
タスク全体の成否しか見えない既存評価の限界を突破し、誤りの起因となった単一ターンと下流への影響を切り分ける。
リリース: 2026-09-10 · 読了 3 分記事の要約
1. 核心（What）
- AWS Machine Learning Blog はマルチターン会話のエラー原因を特定する評価フレームワーク Agent Evaluation Metric (AEM) を公開した。
- AEM はタスク全体を 1 つのスコアにする従来手法と異なり、会話やツール呼び出しをターン単位に分解して評価する。
- 正確性 (Correctness) のサブメトリクスとして、事実整合性を評価する Truthfulness と必須要素の網羅性を評価する Completeness を定義している。
2. 影響（Why）
- マルチターン会話におけるデバッグコストの圧縮: 5ターン以上の複雑なエージェントワークフローで初期のパラメータ誤りが引き起こすカスケード障害を特定できるため、プロンプトやツール定義の修正工数を大幅に削減できる。
- 国内 SaaS の本番エージェント運用へのインパクト: 社内業務アシスタントやカスタマーサポート用のマルチターンエージェントを開発する国内の垂直型 SaaS 事業者は、失敗の根因を定量化して信頼性を担保できる。
3. 根拠・詳細（How）
- セマンティック類似度と構造的チェックの組み合わせ: 文字列の完全一致ではなく埋め込みベースの類似度や LLM-as-judge により意味的同等性を検証し、パラメータキーの有無を構造的に確認する。
4. 展望・課題（Next）
- 安全性や推論深度への拡張: 現在は正確性次元に限定されているが、今後は安全性や指示追従性など新しい評価ディメンションへの展開が予定されている。