內部表示對齊

深度分析

STARFISH 以內部狀態對齊提升高稀疏度剪枝神經網路精度

隨著模型規模不斷膨脹，剪枝成為降低記憶體與運算成本的關鍵技術。研究提出STARFISH方法，利用少量未標記影像校正集，使剪枝後的網路內部表示與原始模型對齊，從而恢復精度。實驗顯示，在75%權重被剪除的情況下，STARFISH只需0.4%訓練影像即可恢復原始模型82%的準確率，遠超其他方法。