DeepSeek、推論モデル DeepSeek V4 Pro の ARC-AGI ベンチマーク結果を公開──ARC-AGI-1 で 90.5% を記録するも難問で停滞
DeepSeek V4 Pro 0813 は低推論設定で ARC-AGI-1 を 90.5%（$0.18/タスク）で通過したが、ARC-AGI-2 では 61.3% に低下し思考トークンの増加がスコア向上に直結しない現象が観測された。
リリース: 2026-08-21 · 読了 3 分記事の要約
1. 核心（What）
- DeepSeek V4 Pro 0813 は ARC-AGI-1 で 90.5% の正答率を $0.18 per task の低コストで達成した。
- ARC-AGI-2 においては最大推論設定でも 61.3% に留まり、高推論設定が最大設定を 1〜4 ポイント上回るなどノイズの多い曲線を描いた。
- 推論機能を無効化したベースモデルのスコアは 13.0% および 0.8% まで急落し、パターンマッチング能力の実質的すべてがチェーンオブソートに依存している。
- V4 Pro の結果は小型の V4 Flash と同等であり、グリッド抽象化タスクにおける性能天井はパラメータ規模ではなく推論戦略に起因する。
2. 影響（Why）
- 推論コストの最適化判断: 低推論設定で 90% 台に乗るなら、社内タスクの自動評価パイプラインにおいて高コストな max 設定を外すことで推論コストを 40% 以上削減できる。
- 国内 SaaS の検証設計への影響: 複雑なロジックを要するコード生成や論理検証を扱う国内の AI エージェント開発企業は、モデルの巨大化よりも推論ストラテジーのチューニングに投資先を絞るべき。
3. 根拠・詳細（How）
- ベンチマーク評価仕様とテスト環境: ARC Prize が検証した 4 段階の推論設定（none, low, high, max）を用い、Semi-Private セット上でタスクごとのコストとトークン消費量を計測した。
- スケーリングとスコアの不一致: 高推論設定がタイムアウト等の影響で max 設定より多くのトークンを消費しつつも 1〜4 ポイント上回ったことで、単調増加しないスケーリング特性が確認された。
4. 展望・課題（Next）
- ARC-AGI-3 の動向: インタラクティブな環境をテストする ARC-AGI-3 の評価結果が今後数週間で順次公開される予定。