評価ツール Amazon Bedrock AgentCore Evaluations を公開──フレームワーク非依存でエージェントをスコアリング
OpenTelemetryの標準スパンを活用し、LangGraphやOpenAI Agents SDKなど任意のフレームワーク製エージェントを一元的に評価可能にする。
リリース: 2026-08-26 · 読了 3 分記事の要約
1. 核心(What)
- Amazon Bedrock AgentCore Evaluationsは、フレームワークに依存せずAIエージェントの動作を評価する機能を提供する。
- OpenTelemetry Protocol (OTLP) を経由して収集されるスパンデータを基に、セッションごとのトレースを再構築する。
- invoke agent、inference、execute toolの3つのスパンロールを分類・抽出して、GoalSuccessRateやCorrectnessなどの評価器に渡す。
- スコープ名のプレフィックス(opentelemetry.instrumentation.* または openinference.instrumentation.*)を検知して自動で読み取り処理を切り替える。
2. 影響(Why)
- 評価基盤の断片化を解消: SDKごとに異なる評価ツールを導入するコストが消え、マルチエージェント環境でも単一のパイプラインで品質を計測できる。
- 国内受託開発へのメリット: 国内のAI受託開発企業は、顧客の独自SDK要件に縛られず共通の監視・評価設計を提案・実装できるようになる。
3. 根拠・詳細(How)
- OpenTelemetryによる共通化: AWS Distro for OpenTelemetry (ADOT) 経由でCloudWatchに送信されたスパンを解析し、session.id属性でセッションをグループ化する。
- 自動スコープ判定の仕組み: インストルメンテーションパッケージが付与する scope.name のプレフィックスを検知し、エージェントコードの変更なしに処理経路を自動アクティブ化する。
4. 展望・課題(Next)
- 対応SDKの拡大: コミュニティ主導のOpenTelemetryインスツルメンテーションが増えるにつれて、サポート対象外の独自フレームワークへの適用範囲も順次広がると見込まれる。