Google Research、拡散モデルの「創造性」を数学的に解明──スコア関数の平滑化が補間を生むメカニズム
拡散モデルが学習データを丸暗記せず新規データを生成できる理由は、ニューラルネットワークの学習過程で生じる「スコア平滑化」による補間効果であることを数学的に証明した。
リリース: 2026-06-30 · 読了 5 分記事の要約
1. 核心（What）
- 拡散モデルの創造性は、学習済みデータ点の単なる記憶ではなく、データ多様体上の補間によって生じていることを数学的に特定した。
- ニューラルネットワークの学習における重み減衰（Weight Decay）や勾配ベースの最適化に伴う「スコア平滑化」が、生成過程の力場を変化させることを示した。
- 1次元の単純なデータ分布から高次元の画像生成まで、スコア平滑化が品質（多様体への収束）と新規性（補間）のバランスを制御する仕組みを解明した。
2. 影響（Why）
- モデルの「創造性」を制御可能に: これまでブラックボックスだった生成AIの「創造性」が数学的帰結と判明したことで、過学習（記憶）と一般化（創造）のバランスを、正則化パラメータの調整で理論的に制御できる道筋が見えた。
- 国内の生成AI開発現場への影響: 画像生成や創薬AIを開発する国内のスタートアップや研究機関において、モデルの新規性が不足する場合、学習時の正則化強度を調整することで、学習データを保持しつつ出力の多様性を高めるチューニングが現実的な選択肢となる。
3. 根拠・詳細（How）
- 1次元ReLUネットワークによる実験: 2層のReLUニューラルネットワークをAdamWで最適化し、重み減衰（WD）の強度を変えてスコア関数の形状を観測。WDが強いほどスコア関数が平滑化され、データ点間での補間が促進されることを確認した。
- 多次元空間での方向依存性: 高次元空間において、スコア平滑化はデータ多様体への接線方向にはブレーキとして働き、多様体へ向かう方向には影響を与えないことを数理的に導出。これにより画質を維持したまま新規性を確保する機構を特定した。
4. 展望・課題（Next）
- 複雑なデータ構造への拡張: 本研究は初期的な解明であり、より複雑なデータ分布や大規模なTransformerベースの拡散モデルにおいて、この平滑化メカニズムがどのようにスケーリングするかは今後の検証課題である。