速報
HOPE 框架問世:用希爾伯特空間拆解神經網路內部知識
深度神經網路雖能編碼複雜的表示,但其內部知識的拆解一直是個難題。研究人員發現學習與壓縮之間存在關聯,因此網路壓縮成為分析知識的可行途徑。然而,傳統壓縮方法常受尺度對稱性與架構偏誤影響。
速報
深度神經網路雖能編碼複雜的表示,但其內部知識的拆解一直是個難題。研究人員發現學習與壓縮之間存在關聯,因此網路壓縮成為分析知識的可行途徑。然而,傳統壓縮方法常受尺度對稱性與架構偏誤影響。
深度分析
隨著深度模型規模持續擴大,壓縮成為關鍵挑戰。本研究提出以近似前向微分等價為基礎的神經網路聚合方法,透過單一容差參數ε將功能相似的神經元合併,實現高達六成以上的參數削減,同時保持預測精度。實驗在合成動力系統與四個公開回歸基準上驗證,效果優於傳統幅度剪枝與Wanda,顯示此差分等價聚合是可行的替代路徑。