LLM 開発の構造転換──パラメータから事実を削り reasoning 特化へ
モデルの事実記憶を削り reasoning とハーネス（外部検索）へ全振りすることで、推論コストを下げながら高度なタスク処理を実現する設計トレンドを解説する。
リリース: 2026-08-01 · 読了 4 分記事の要約
1. 核心（What）
- 近年のフロンティアモデルはパラメータ内への事実（World Knowledge）の焼き込みを減らし、reasoning 手続きの圧縮と学習に注力している
- Qwen3.5 や DeepSeek V4-Flash などの軽量モデルは、推論コストを劇的に下げる一方で、事実記憶タスクでは高いハルシネーション率を示す
- 事実をモデル内 weights から外し、RAG や検索ツールなどの外部ハーネスへ委譲する設計が主流になりつつある
2. 影響（Why）
- RAG 設計の前提変更: モデル本体に社内知識を覚えさせるコストとハルシネーションのリスクが顕在化するため、全件をベクターストア経由で動的注入するハーネス前提のアーキテクチャ設計が必須になる。
- ローカルLLM運用コストの劇的改善: エキスパート層の事実記憶部分を削った小規模・高 reasoning モデルが商用・OSS で普及すれば、月額 API コストを大幅に削減したオンプレミス環境の構築が現実化する。
- 国内 SaaS の運用コスト最適化: 社内文書の検索やレガシーな業務システムと連携する国内 Vertical SaaS 開発チームは、重い巨大モデルを避け、外部検索を厳密に制御する軽量推論モデルへの移行ロードマップを検討すべき。
3. 根拠・詳細（How）
- 事実記憶とプロシージャの圧縮効率の違い: 言語モデルの物理的測定に基づき、手続き（数学的分解やバックトラック）は蒸留によって少パラメータモデルへ効率よく転写できる一方、事実データはパラメータを直接消費するためスケーリング効率が悪い点を突き詰めている。
- アクティブパラメータの抑制: DeepSeek V4-Flash ではアクティブパラメータを 13B に絞り込み、MoE の事実記憶用エキスパート層と切り離すことで、コンシューマー向け GPU（24GB VRAM）の範囲内での高 reasoning 実行を実現している。
4. 展望・課題（Next）
- モデルカードの知識カットオフ変質: 今後はモデル自身の知識カットオフという概念が薄れ、常に実行時ハーネスから最新状態が注入される前提のシステム仕様へと移行が進む見通し。