Artificial Analysis、評価ベンチマーク Capability Indices v1.1 を公開──O*NET 職業データに基づく 6 業界別の検証モデル
O*NET 職業データベースの業務特性に合わせベンチマーク配分を再構築し、Claude Fable 5.1 が全 6 業種で首位を獲得した。
リリース: 2026-09-14 · 読了 3 分記事の要約
1. 核心（What）
- Artificial Analysis は米国職業データベース O*NET のタスク構成をマッピングし、6 つの業界別インデックス Capability Indices v1.1 をリリースした
- Finance、Strategy、Legal、Healthcare の各分野に AutomationBench-AA スライスを統合し、マルチステップのツール利用評価を強化した
- Engineering 分野では天井効果が確認された GPQA Diamond を外し、コマンドライン環境でのタスク遂行力を測る Terminal-Bench v4.0 を採用した
- Claude Fable 5.1 (max) が全 6 インデックスで 1 位、GPT-6 Astra (max) が 4 インデックスで 2 位を記録した
2. 影響（Why）
- 実務タスクに直結するベンチマーク選択: 単一の総合スコアでは特定の専門領域における優劣が見えにくいため、法務・医療・金融のプロダクト開発において正確なモデル選定の基準となる。
- 国内 SaaS 事業者のモデル選定への影響: [法務・医療 SaaS 業種] のような国内中堅事業者は、総合ベンチマークではなく個別インデックスのツール利用・長文脈スコアを基準に推論モデルを切り替える価値がある。
3. 根拠・詳細（How）
- 職業データに基づくインデックス構築手法: O*NET の職業データから業務タスクを抽出し、Intelligence Index v4.3 の選択コンポーネントと組み合わせることで各業界の職務頻度に応じた重み付けを実装した。
- 長文脈・ツール実行評価の拡張仕様: GDP.pdf や MLCR-AA などのデータセットを用いて長文ファイリングやカルテの解析能力を測るとともに、AutomationBench-AA によりマルチステップのツール実行プロセスを検証する。
4. 展望・課題（Next）
- 顧客対応エージェント評価の除外: Agentic Customer Interaction が 4 つのインデックスから削除されたため、カスタマーサポート向けエージェントの開発チームは独自に評価基準を設ける必要がある。