MRSNorm

深度分析

MRSNorm：以相量流形反轉正規化順序，實現梯度均勻化與參數減半

本研究提出 Mean Root Square Normalization (MRSNorm)，一種新型正規化方法，旨在解決 RMSNorm 因二次累積變異數導致的數值不穩定性與梯度飢餓問題。