線形AttentionのKVキャッシュを回転行列で制御する手法SFDA──循環的記憶学習で精度向上
線形Attentionの固定状態を複素回転行列で拡張し、既存のKDA比で循環的記憶の保持能力を大幅に高めた手法を提案。
リリース: 2026-06-12 · 読了 5 分記事の要約
1. 核心（What）
- 線形Attentionにおける状態更新を複素回転行列（Λ_t=diag(α_t ⊙ e^{iθ_t})）で制御するSFDAを提案
- Chunk-WY分解により、ランク成長を固定チャンク内に抑えつつ正確なアフィン変換を実現
- 状態追跡タスクにおいて、位相制御を無効化したKDAベースラインがランダムに近い精度となる中、SFDAは循環的記憶を学習
- 形式的な安定性と計算量の上限を数学的に導出
2. 影響（Why）
- 線形Attentionの記憶限界を克服: 従来の線形AttentionはKVキャッシュを固定状態に圧縮するため、長文脈での正確な状態追跡が困難でした。SFDAは複素数を用いた回転制御により、メモリの保持能力を向上させ、時系列データの周期性を捉えることが可能です。
- 日本のエンジニアへの実務インパクト: 金融や製造業のログ解析など、時系列の周期性が重要な長文脈推論タスクにおいて、既存のRNNベースのAttention手法よりも高い推論精度を確保できる可能性があります。特に推論時のメモリ効率を重視する現場での採用検討に値します。
3. 根拠・詳細（How）
- 複素回転による状態更新: 実数値の減衰のみを用いるKDA（Kimi Delta Attention）に対し、SFDAは複素数による回転成分を導入しました。これにより、状態更新式 S_t=(I-β_t k_tk_t^*)Λ_tS_{t-1}+β_tk_tv_t^* において、より柔軟な動的メモリ管理を実現しています。
- 代数的検証と実験結果: Chunk-WY分解を用いてランク成長をチャンク単位で制限し、計算の安定性を確保しました。状態追跡実験では、KDAが精度向上に失敗する環境下で、SFDAは複素回転を用いることで正確な循環的記憶の学習に成功しています。
4. 展望・課題（Next）
- 大規模言語モデルへの統合: 本論文では代数的な定式化と小規模な状態追跡実験に留まっており、大規模言語モデルへの適用や、GPU上でのFused Kernelの実装と性能評価は今後の検証課題として残されています。