Anthropic、Conceptual Reasoning Index を公開──哲学や意思決定理論の推論力を測る 3 つのベンチマーク
実証的なフィードバックが得にくい AI ガバナンスや意思決定理論の議論力を評価するため、LMCA・ACCoRD・DTBench を統合した CRI を発表した。
リリース: 2026-08-12 · 読了 4 分記事の要約
1. 核心（What）
- Anthropic は、AI の概念的推論力を測定する評価スイート「Conceptual Reasoning Index (CRI)」を 2026 年 8 月 12 日に公開した。
- CRI は、LMCA（重み 60%）、ACCoRD（重み 20%）、DTBench capabilities（重み 20%）の 3 つのベンチマークで構成される。
- 最高スコアを記録したモデルは Opus 5 であり、推定上限 91 に対して 73.6（95% CI: ± 2.1）のスコアを獲得している。
- LMCA は 560 件のポジションテキストと 2,140 件の人間の専門家による評価（Emery Cooper 氏ら）を用いたデータセットである。
2. 影響（Why）
- アライメント検証の新たな軸: 実証データや数学的検証が困難な AI リスク管理や哲学・未来予測の分野において、モデルの論証力を定量評価できるため、安全性の監査体制を構築する際の基準として機能する。
- 国内安全保障・ガバナンス評価への応用: 国内の AI リスク研究組織や政策策定に関わるシンクタンク（[国研機関] 規模の組織を想定）にとって、モデルの整合性や意思決定理論の理解度を測るための新たな評価フレームワークとして活用できる。
3. 根拠・詳細（How）
- 3 つのベンチマークによる統合評価: LMCA（引数の評価）、ACCoRD（14,000 件以上の生成制約に基づく論理的一貫性測定）、DTBench（407 件の意思決定理論の多肢選択問題）の加重平均により CRI を算出している。
- 人間との合意度に基づくスコアリング: LMCA では人間の専門家による評価ルールとの一致度を測定し、専門家間のインターレーター合意度を基準としてモデルの性能上限を推定する設計になっている。
4. 展望・課題（Next）
- モデル・ベンチマークの随時更新: サイト（conceptualreasoning.ai）を通じて、新しいモデルやベンチマークの追加、飽和した評価軸の入れ替えを継続的に反映していく予定である。