速報
多臂賭徒算法驅動的結構化神經元剪枝:UCB1與Thompson Sampling表現領先
研究針對深度神經網路的冗餘神經元提出結構化剪枝方案,利用多臂賭徒演算法將神經元視為臂並評估其安全移除獎勵。UCB1與Thompson Sampling在分類、迴歸及深度任務上取得最高排名,部分策略甚至優於未剪枝模型,顯示此方法在模型縮減上具實務效益。
速報
研究針對深度神經網路的冗餘神經元提出結構化剪枝方案,利用多臂賭徒演算法將神經元視為臂並評估其安全移除獎勵。UCB1與Thompson Sampling在分類、迴歸及深度任務上取得最高排名,部分策略甚至優於未剪枝模型,顯示此方法在模型縮減上具實務效益。
深度分析
研究指出,過度參數化的神經網路浪費資源,RandomCloud透過隨機初始化網路、無需反向傳播即評估,逐步削減神經元,最後僅訓練最佳極簡模型。實驗顯示在七個分類基準上,多數資料集的準確度與傳統剪枝持平或更佳,且計算成本降低近七成。對資源受限的應用特別有吸引力。