ICL の OOD 一般化は低次元部分空間で決まる
線形回帰タスクで ICL が分布外一般化できる条件を理論的に特定。GPT-2 でも実証。（原題: Out-of-Distribution Generalization of In-Context Learning: A Low-Dimensional Subspace Perspective）
リリース: 2025-05-20 · 読了 5 分何が起きた
事前学習タスクベクトルが部分空間の和集合から描かれる場合、Transformer は全ての角度シフトに一般化可能。
事前学習タスクベクトルが単一ガウス分布から描かれる場合、テストリスクは角度に非negligible な依存性を示す。
GPT-2 モデルでも、理論的結果が経験的に成り立つことを実証。
なぜ重要
ICL が未知のデータ分布に対してどこまで通用するか（OOD 一般化）を理解せずにモデルを運用すると、予期せぬ性能低下を招くリスクがある。
本研究は、ICL の OOD 一般化能力が、事前学習データの低次元部分空間構造に強く依存することを示唆しており、モデルの信頼性評価に不可欠な知見を提供する。
👁️ 開発者
ICL を活用する開発者は、モデルの OOD 一般化能力を過信せず、事前学習データの分布とテストデータの分布の類似性を評価する必要がある。特に、タスクベクトルが単一ガウス分布に従うようなシナリオでは、ICL の OOD 一般化能力に限界があることを認識すべき。
🇯🇵 日本
国内固有の追加文脈は限定的（汎用的に有用）。