平滑激活

速報

GEM 家族平滑激活函數：以有理數運算還原 ReLU 性能

深度網路中，啟用函數的光滑性會影響梯度優化與最終效能。這項研究提出一組以對數邏輯累積分布函數作閘、達到 C^{2N} 平滑等級的激活函數家族：基礎 GEM、可透過 ε 調整以任意 L^p 逼近 ReLU 的 E-GEM，以及消除死神經元且在接合處維持 C^{2N} 平滑的 SE-GEM。