LoRA-EMAは、LoRAの低ランク行列に対してのみ指数移動平均（EMA）を適用し、計算コストを最小限に抑えつつ汎化性能を向上させる手法。

GSM8Kベンチマークにおいて、Llama-3-8Bを用いた標準的なLoRA（36.4%）に対し、LoRA-EMAは38.5%と+2.1ptの精度改善を達成。

追加のメモリ消費はLoRAパラメータ（通常、全パラメータの1%未満）の2倍程度に留まり、ベースモデル全体のEMAを保持する手法より極めて効率的。

複数のドメイン適応タスクにおいて、最終ステップの重みよりもEMAによる重みの方が一貫して高いテスト精度を記録。

LoRA微調整において「最終ステップの重みが最適とは限らない」という課題に対し、計算負荷をほぼ増やさずにロバストなモデルを得る手法が確立された。検証データでのスコア変動に悩む開発者にとって、チェックポイント選択の不確実性を排除できる。