深度分析
MRSNorm：以相量流形反轉正規化順序，實現梯度均勻化與參數減半
本研究提出 Mean Root Square Normalization (MRSNorm)，一種新型正規化方法，旨在解決 RMSNorm 因二次累積變異數導致的數值不穩定性與梯度飢餓問題。
RMSNorm
深度分析
MIVE：可程式化整數向量引擎優化 LLM 正規化運算
隨著大型語言模型需求激增，MIVE以共用向量運算單元同時加速Softmax、LayerNorm與RMSNorm，減少硬體重複佈局。實體ASIC驗證其面積與功耗優於多數現有加速器，提升效能與資源利用率。MIVE採用共享乘加與向量加總單元，支援INT8量化推論，面積效率達332.6GOPS/mm²。
深度分析
層正規化與動態激活函數的數學關係：從 RMSNorm 推導至 DyISRU 的新發現
層正規化是深度學習的基礎組件。研究者從 RMSNorm 推導出動態激活函數 DyT，進一步在函數空間解耦得到精確對應的 DyISRU。實驗顯示 DyISRU 在離群值正規化上超越 DyT，暗示可替代傳統 LN 提升模型穩定性。