動態激活函數

深度分析

層正規化與動態激活函數的數學關係：從 RMSNorm 推導至 DyISRU 的新發現

層正規化是深度學習的基礎組件。研究者從 RMSNorm 推導出動態激活函數 DyT，進一步在函數空間解耦得到精確對應的 DyISRU。實驗顯示 DyISRU 在離群值正規化上超越 DyT，暗示可替代傳統 LN 提升模型穩定性。