研究チーム、米小学校カリキュラム限定の学習モデル LittleLearner を公開──事前学習データが能力上限を決定することを実証
K-5 カリキュラムに制限した 88B トークンのコーパスで 0.6B から 5B までのモデルを事前学習し、SFT や GRPO などのポストトレーニングでも事前学習の境界を超えた能力獲得が困難であることを示した。
リリース: 2026-01-01 · 読了 3 分記事の要約
1. 核心（What）
- 米小学校（K-5）の Common Core 基準に準拠した 88B トークンのコーパス LittleCurriculum を構築し、Grade 5 以上の概念を排除した。
- 0.6B、1.3B、5B の 3 スケールで LittleLearner モデルをゼロから事前学習させ、それぞれに未フィルターの比較用コントロールモデルを用意した。
- SFT や GRPO、イン・コンテキスト・ラーニングなどのポストトレーニングは K-5 範囲内の能力を増幅させるが、範囲外の能力を回復・拡張することはできなかった。
- モデルサイズのスケーリングは訓練された知識露出の範囲内で性能を向上させるが、範囲外の高度な問題に対してはほとんど改善をもたらさない。
2. 影響（Why）
- 事前学習データ管理の重要性: 社内 LLM のファインチューニングやドメイン適応において、上位概念の欠落は後段の RL やプロンプトエンジニアリングでは補えないため、事前学習データの設計段階で必要な知識範囲を網羅する設計が不可欠になる。
- 国内教育テック事業者の検証方針: 国内の教育向け AI サービスや公立学校向け学習支援ツールを手掛ける edtech 事業者は、モデルのハルシネーション対策として「何を学習させなかったか」を制御する本手法を安全性の担保に組み込む価値がある。
3. 根拠・詳細（How）
- コーパス抽出と 3 スケール学習: FineWeb-Edu から 5 段階のフィルタリングパイプラインを経て 88B トークンの LittleCurriculum を生成し、0.6B / 1.3B / 5B のパラメータ数でモデルを訓練した。
- MathCAMPS による検証: 数学特化のポストトレーニングとして MathCAMPS を用いた GRPO 実行により、K-5 領域の能力増幅と範囲外未達成の挙動をコントロールモデルと比較検証した。
4. 展望・課題（Next）
- 報酬駆動型ディスカバリーの検証: 事前学習の事前確率を K-5 に制限した環境下で、強化学習（RL）が新たな能力を創出できるかどうかの報酬駆動型プロキシとしての応用を予定している。
- 機械学習と児童学習の比較: 分数学習や文章題のエラー傾向など、人間の子どもとモデルの学習過程における類似性を検証する比較研究を進める。