Allen Institute、LLM ベンチマーク評価手法 BenchMIRT を公開──多次元 IRT で個別プロンプトの能力因子を分離
100 モデルと 34K 以上の質問を用いた検証により、BBQ や WMDP などの既存ベンチマークが安全性ではなく汎用推論能力を強く測定していることを明らかにした。
リリース: 2026-09-01 · 読了 3 分記事の要約
1. 核心（What）
- 個別のプロンプト単位で LLM のベンチマークを監査する新手法 BenchMIRT を発表
- 項目応答理論（IRT）を拡張した多次元 IRT（MIRT）を用いて、単一スコアに混入する複数の能力因子を分離
- 質問全体の 10% を抽出するだけで、全質問を用いた場合と同等の能力評価プロファイルを維持可能と実証
2. 影響（Why）
- ベンチマークスコアの混同を解消: 単一の総合スコアでは安全性と推論能力の混在が見えにくいため、モデルの真の弱点を特定してチューニング方針を正しく決定できる。
- 評価コストの大幅な削減: 質問数を 10% に絞り込んでも評価精度が維持されるため、大規模なベンチマーク実行にかかる時間と計算コストを 9 割削減できる。
3. 根拠・詳細（How）
- 多次元項目応答理論（MIRT）の適用: psychometrics（心理測定学）の IRT を拡張し、100 モデルの回答パターンから「安全性」と「一般推論」の 2 大次元を教師なしで独立して復元。
- 質問ごとの識別力と難易度の推定: 各質問が持つ困難度と、強弱のあるモデルをどれだけ正確に区別できるかの識別力を個別にモデリングし、保持データに対する予測精度 79% を達成。
4. 展望・課題（Next）
- 次世代モデルへの適用拡大: 2025 年 3 月までにリリースされたモデル群をベースにしているため、最新世代の LLM に対する挙動検証が必要となる。