variance-amplifying-regularizer

深度分析

Variance Amplifying Regularizer (VAR)：提升一次性高稀疏剪枝的準確度與穩健性

深度模型在一次性高稀疏剪枝後常失準。本研究提出VarianceAmplifyingRegularizer(VAR)，透過在訓練期間放大權重變異並鼓勵數值集中靠近零，提升一次性剪枝的穩健性。實驗與理論分析顯示VAR保留準確度且與標準SGD相容。