權重衰減

深度分析

ReWA：結合重參數化、權重衰減與座標自適應學習率的稀疏優化方法

本研究回應稀疏優化的穩定性難題，提出ReWA：以重參數化、權重衰減與座標自適應學習率改寫優化步驟。ReWA於數學上連結ℓp正則化（0<p<1），但在參數空間創造較平滑且有界梯度景觀，減少接近零時的震盪；實驗於CIFAR-10與ImageNet顯示在不顯著降準確度下，改善模型稀疏性。