徑向限制激活

深度分析

Z‑Plane 神經網路：以徑向限制激活取代 ReLU 與 LayerNorm 的深度學習新架構

深度學習常用ReLU與LayerNorm會導致死神經元與特徵正交性喪失。研究者提出Z‑Plane神經網路，將隱藏狀態映射至2維相位束，使用徑向限制激活保留相位並限制能量。實驗顯示100層MLP在MNIST上達98.34%訓練準確率，證明此幾何激活即可提供穩定深度學習。