📜 papers
2026-06-23 · 2 topics
LoRA学習への指数移動平均（EMA）導入によりLLM微調整の汎化性能と安定性が向上
🔥LoRAの重み更新にEMAを適用する手法を提案。数学推論やドメイン適応において、標準的なLoRAを上回る精度を達成。（原題: LoRA-EMA: Exponential Moving Average for Low-Rank Adaptation）
行列型再帰ユニット (MRU) が Transformer に匹敵する長文脈処理を実現──線形計算量で連想記憶を保持
🔥RNN の隠れ状態を行列化する MRU 手法。Attention なしで線形計算量を維持しつつ、長文脈依存性と連想記憶能力を大幅に向上。（原題: Matrix Recurrent Units: An Attention Alternative）