Apple、学習レシピ Dynamically Scaled Activation Steering を発表──介入強度を動的制御し生成モデルの性能低下を抑制
毒性緩和などの介入時に一律適用していた従来手法の課題を解決し、入力文脈に応じてレイヤー間のステアリング強度を適応変調する新フレームワーク。
リリース: 2023-11-08 · 読了 3 分記事の要約
1. 核心（What）
- Apple ML Research は、生成モデル向けの新手法「Dynamically Scaled Activation Steering (DSAS)」を発表した。
- DSAS は介入の実行判断と制御手法を分離し、不要な場合の性能劣化を防ぐメソッド非依存のフレームワークである。
- 生成時にコンテキスト依存のスケーリング係数を計算し、任意のステアリング手法の強度を動的に調整する。
- テキストから画像への拡散モデルへの適用により、特定概念のモデリング性能向上も実証された。
2. 影響（Why）
- 安全性と汎用性のトレードオフ改善: 従来の一律なアクティベーション介入では不要な入力でも性能が低下していたが、DSAS により毒性緩和と出力ユーティリティのパレート最適フロンティアを向上できる。
- 国内 SaaS の安全ガードレール構築: 対話型 AI を提供する国内の垂直 SaaS 事業者は、一律のプロンプト介入による品質低下を回避し、実運用での安全性を担保しやすくなる。
3. 根拠・詳細（How）
- 動的スケーリング係数の計算機構: 生成時にコンテキスト依存の計算を行い、不要な介入によるモデル劣化を防ぎながら、望ましくない挙動が検出されたレイヤーのみ強度の変調を実行する。
- エンド-ツー-エンドの共同最適化: ステアリング関数とスケーリング係数を同時に最適化することで、テキスト生成だけでなく拡散モデルの概念変調にも適用可能な汎用性を担保している。
4. 展望・課題（Next）
- GitHub でのコード公開: 公式実装のコードが GitHub で公開予定であり、オープンソース環境での再現実験や既存モデルへの統合が進む見込み。