PAC-Bayes 汎化境界を f-ダイバージェンスで一般化──指数モーメント制約のない理論的保証を可能に
ルジャンドル変換とフェンシェル・ヤングの不等式を用い、従来の KL ダイバージェンスに縛られない測度変換の不等式を導出。学習理論における仮定の適用範囲を大幅に拡大。（原題: Change of measure through the Legendre transform）
リリース: 2022-02-11 · 読了 10 分何が起きた
従来の Donsker-Varadhan 定理に基づく PAC-Bayes 境界は、経験リスクに有界な指数モーメント（Bounded Exponential Moments）を要求していた。
f-ダイバージェンスのルジャンドル変換（Legendre transform）とフェンシェル・ヤングの不等式を組み合わせ、測度変換の不等式を一般化した。
提案手法により、特定の f-ダイバージェンスに応じた「仕立てられた仮定（tailored assumptions）」の下で PAC-Bayes 境界を確立可能にした。
なぜ重要
損失関数の分布が重い裾（Heavy-tailed）を持つ場合など、従来の KL ダイバージェンスベースの PAC-Bayes 理論では扱いきれないケースがある。
本研究の枠組みを知らなければ、より緩い条件下で成立するはずの強力な汎化保証を見逃し、モデルの安全性を過小評価するリスクがある。
👁️ 開発者
機械学習の理論的保証を研究・実装する開発者は、KL ダイバージェンス以外の f-ダイバージェンスを正則化項に採用する際の数学的根拠として本論文を参照すべき。
🇯🇵 日本
国内固有の追加文脈は限定的（汎用的に有用）。