Apple、LLM ファインチューニング最適化手法 DynaMiCS を発表──制約条件付きの混合学習を自動化
ターゲットドメインの性能向上と汎用知識の維持を両立させるため、勾配ベースの動的混合重み最適化を導入し、手動チューニングを不要にした。
リリース: 2024-03-14 · 読了 3 分記事の要約
1. 核心（What）
- マルチドメインファインチューニングにおける制約付き最適化手法 DynaMiCS を提案。
- 各学習ステップでドメイン間の相互影響を捉える勾配行列を推定する probing run を実行。
- 確率単体上での最適化により、制約ドメインの損失を規定値以下に抑えつつターゲット性能を最大化する重みを算出。
2. 影響（Why）
- 学習の自動化と安定化: 手動の混合比率調整が不要となり、学習プロセスがブラックボックス化せず、制約ドメインの性能低下を定量的に防ぐことが可能。
- 国内事業者への影響: 専門知識を注入する際、汎用性能の維持に苦心している国内の Vertical SaaS 事業者は、本手法により評価指標のトレードオフを自動的に解消できる。
3. 根拠・詳細（How）
- 勾配行列を用いた重み算出: 学習データセットごとの勾配が評価ドメインに与える影響を slope matrix として推定し、制約条件を満たす重みを確率単体上で最適化する機構を採用。
4. 展望・課題（Next）
- 計算資源の制約: 各ステップで probing run を行うため、大規模モデルでの適用において追加の計算オーバーヘッドを最小化する実装が今後の課題。