ResNet の学習ダイナミクスを解明──Wasserstein 空間上の測地線を学習する数学的根拠を提示
ResNet がなぜ深層化しても最適化可能で高い汎化性能を持つのかを、連続方程式を用いた最適輸送理論の観点から数学的に証明した。
リリース: 2021-02-18 · 読了 5 分記事の要約
1. 核心（What）
- ResNet の順伝播を連続方程式でモデル化し、入力から出力への変換が最適輸送写像に由来する Wasserstein 空間上の測地線であることを特定した。
- L2 正則化を施した ResNet は、通常のネットワークと比較して測地曲線の近似精度が著しく高いことを数値実験で示した。
- データトラックの形状を示す「line-shape score」および、最適輸送写像との乖離を測る「optimal transport score」において、ResNet が理論値に近い挙動を示すことを確認した。
2. 影響（Why）
- 深層学習の最適化理論: ResNet がなぜ深い層でも勾配消失を起こさず学習できるのかという長年の問いに対し、高次元空間におけるデータ変換の幾何学的な安定性という理論的裏付けを与えた。
- 国内のモデル開発現場へ: 独自アーキテクチャを設計する国内のAI研究開発組織（中規模以上のラボ）は、この測地線学習の知見を転移学習やドメイン適応時のネットワーク設計の指針として活用可能になる。
3. 根拠・詳細（How）
- 連続方程式による解析: ResNet の順伝播を測度保存の連続方程式として定式化し、深層ネットワークの学習過程が Wasserstein 空間上の最短経路（測地線）を辿る力学系であることを導出した。
- 数値実験による検証: line-shape score と optimal transport score を指標として採用し、プレーンなネットワークに対する ResNet の優位性を、高次元空間におけるデータ変換の滑らかさの観点から定量評価した。
4. 展望・課題（Next）
- 非線形変換への拡張: 本研究は L2 正則化を前提としているため、より複雑な正則化手法や非線形活性化関数が測地線学習に与える影響の解明が今後の課題となる。