AWS、Amazon Nova 2 向け推論学習手法 SDR を公開──ファインチューニング時の知識喪失を抑制
推論トレースを自己蒸留することで、SFT 後も数学的推論能力を 70% 維持しつつ、タスク特化性能を 6.5% 向上させる手法。
リリース: 2026-07-21 · 読了 4 分記事の要約
1. 核心（What）
- Amazon Nova 2 Lite の推論トレースを再利用する Self-Distilled Reasoning (SDR) 手法を導入。
- 通常の SFT では数学能力が 70% から 6% まで低下するが、SDR ではベースモデルと同等の 70% を維持。
- ToolACE、CoCoHD、GovReport の 3 つのベンチマークで、モデルマージ手法を上回る性能を実証。
- 推論トレースを持たない既存の SFT データセットに対し、外部教師モデル不要で適用可能。
2. 影響（Why）
- 推論能力の維持と特化のトレードオフ解消: SFT 実行時に reasoning モードを有効化しても、推論ステップの教師データがないとモデルが推論を回避する「推論抑制問題」が発生する。SDR は学習データ自体にモデル自身の推論トレースを付与することで、この問題を解決する。
- 国内 SaaS 事業者のモデルカスタマイズ戦略: 金融や法務など、高精度な推論が求められる Vertical SaaS を開発する国内中規模事業者にとって、モデルマージによる性能劣化を避けつつ、自社特化データで精度を向上させるための現実的な最適解となる。
3. 根拠・詳細（How）
- SDR による学習時正則化の仕組み: Amazon Nova 2 Lite 自身の推論トレースを SFT データセットに自動付与し、学習時の損失関数に組み込むことで、推論能力を維持する正則化を実現。モデルマージと比較して、ターゲット性能を平均 6.5% 向上させた。
4. 展望・課題（Next）
- 適用範囲の拡大: 現在、Amazon Nova 2 ファミリーのカスタマイズ機能として提供。推論トレースの質が最終的なタスク性能に与える影響について、追加検証が必要。