激活稀疏化

深度分析

LLM 後訓練激活稀疏化（N:M）：CLACT 與 Per-Token Shift 的輕量錯誤緩解

隨著大型語言模型推論需求提升，研究者提出後訓練N:M激活稀疏化技術，透過8:16等半結構化模式搭配輕量誤差緩解方法，實驗顯示在相同稀疏率下保留生成能力優於傳統權重稀疏，並為未來硬體支援多樣稀疏模式奠基。此研究亦比較了多種剪枝指標與轉換技巧，證明簡易的動態位移與方差校正可顯著降低性能損失。