Artificial Analysis、ベンチマーク作成ツール Optima を公開──カスタムデータとエージェントトレースから評価基盤を構築
パブリックなベンチマークのスコア飽和とデータ汚染に対応し、自社データやトレースから固有のタスク評価を低コストで作成可能にする。
リリース: 2026-08-13 · 読了 3 分記事の要約
1. 核心（What）
- Artificial Analysis がカスタムモデルベンチマークを作成できるセルフサービスプラットフォーム Optima をリリース
- ファイルや HuggingFace からのデータセットアップロード、主要オブザーバビリティ基盤からのトレースインポート、テキストによるタスク自動生成の 3 手法を実装
- AA-Briefcase と同等のペアワイズ評価エンジンを採用し、1 基準 0.25 ドルからの課金体系を提供
- HTTP 経由でカスタムエージェントスタックをフロンティアモデルと同一のベンチマークランで競合させることが可能
2. 影響（Why）
- 汎用ベンチマークの限界を突破: MMLU の飽和や HumanEval のデータ汚染により汎用スコアがアプリーケーションの品質を予測しなくなっているため、独自タスク評価の需要が急務である。
- 評価コストと実行速度の同時追跡: 品質スコアと並行してタスクあたりのコストと時間を計測できるため、10 倍のコスト削減効果を数値として即座に証明できる。
3. 根拠・詳細（How）
- 多様なデータソースの統合機構: Arize、Braintrust、Langfuse から直接エージェントセッションをインポートし、本番環境のトレースをそのまま評価タスクへ変換する。
- リサーチグレードの評価エンジン: AA-Briefcase および GDPval-AA と同一のペアワイズ評価手法を採用し、ルビージャッジとマッチ判定を従量課金制の API で実行する。
4. 展望・課題（Next）
- IDE 統合機能の展開: 開発環境から直接コンテキストを読み込みベンチマークを構築する Optima スキルの導入が進められている。