最新研究、AI が数学でつまずく主因は計算ミスではなく解き方の糸口の欠如と判明──83.6%で初期のひらめきに失敗
問題文だけから解法のカギを見つける確率が 25% 程度にとどまる一方、正解を示した状態なら 92% が見抜ける検証結果を公開。
リリース: 2026-10-05 · 読了 3 分記事の要約
1. 核心（What）
- AI の数学における誤答原因の分析から、計算ミスではなく初期の解法発見に失敗している割合が 83.6% に上ることが判明した。
- 解く流れを 4 つの段階に分けて 12 個のモデル（GPT・Qwen・DeepSeek など）を検証した。
- 問題だけを渡すケースに比べ、解き方のカギを事前に添えて与えた場合、全モデルで正解率が 18〜30 ポイント向上した。
- 先生役モデルにヒントを与えて小さなモデルに思考プロセスを移す蒸留手法により、モデル規模を抑えたまま正解率の改善を確認した。
2. 影響（Why）
- 単一の正解率ベンチマークの限界: モデルの総合的な正解率だけで評価していると、計算力とひらめき力のどちらが不足しているかという弱点が隠れてしまうため、プロンプト設計や評価指標の見直しが求められる。
- 国内教育系・専門特化 LLM 開発への示唆: 国内の edtech 関連ベンチャーや教育 SaaS 開発チームは、難問でつまずくユーザーに対して答えそのものを提示するのではなく、解法の方針や定理のヒントを生成させる構成へとプロンプト戦略を切り替える必要がある。
3. 根拠・詳細（How）
- 4 段階のプロセス分解と 12 モデル検証: 問題の条件抽出、通しでの解答生成、解答閲覧後のカギの特定、ヒント付与後の解答という 4 つのフェーズに分解し、GPT・Qwen・DeepSeek を含む 12 個のモデルを対象に挙動を比較検証した。
- 27B 規模モデルにおける認識精度の乖離: 27B パラメータ規模の公開モデルを用いた検証において、自力でのカギ発見率は約 25% であったが、正解の解き方を提示された状態での言い当て率は約 92% に達した。
4. 展望・課題（Next）
- コードと解説の公開: 研究チームによる検証コードや詳細な解説は、公式公開ページおよび Qiita の関連レポートを通じて順次確認可能となっている。