Thinking Machines、学習モデル Inkling-Small を公開──276Bパラメータで教師モデルを超える推論精度を達成
Mira Murati 氏率いる Thinking Machines Lab が 276B 構成の MoE モデル Inkling-Small を公開し、オンポリシー蒸留により推論コストを 1/4 に抑えつつ上位モデルの性能を上回った。
リリース: 2026-07-30 · 読了 3 分記事の要約
1. 核心（What）
- Thinking Machines Lab が 276B 総パラメータ／12B アクティブの MoE モデル Inkling-Small を Apache 2.0 ライセンスで Hugging Face に公開
- Humanity's Last Exam (HLE) で 31.6% を記録し、975B の教師モデルである Inkling の 29.7% を上回る推論精度を達成
- SWE-bench Verified でも 80.2% を記録し、教師モデルの 77.6% を超過
- 一方で SimpleQA Verified では 20.6% と留まり、事実記憶タスクでは教師モデルの 43.9% に劣る
2. 影響（Why）
- 蒸留モデルへの移行コストを圧縮: 975B 規模の推論コストを 1/4 に圧縮できるため、社内エージェントやコーディング支援基盤を運用するチームは、API 運用コストを大幅に下げつつ SOTA 級の推論能力を組み込める。
- 国内開発現場への影響: 国内のコード生成やマルチモーダル解析を検証する Vertical SaaS 企業は、大規模モデルから小規模 MoE への切り替えにより、GPU クラスタの所要リソースを抜本的に見直す契機となる。
3. 根拠・詳細（How）
- オンポリシー蒸留による最適化: 教師モデルの静的データ模倣ではなく、学生モデル自らが生成した出力に対しリアルタイムで教師モデルが修正を加えるオンポリシー蒸留を採用し、レシピとデータミックスを改良した。
- エージェント強化学習の追加: 初期チェックポイントから追加で 2 週間のエージェント的コーディング強化学習（RL）を継続し、コーディングおよび推論ベンチマークでのスコアを逆転させた。
4. 展望・課題（Next）
- 事実記憶ギャップの克服: SimpleQA で劣る事実記憶の精度改善に向けたデータ拡充や、外部検索 (RAG) との組み合わせ最適化が今後の課題となる。