DiT-Pruning

深度分析

「DiT-Pruning」：針對 Diffusion Transformer 的高效模型壓縮與計算優化

Diffusion Transformers (DiTs) 雖生成品質優異但運算成本極高。本研究提出 DiT-Pruning 訓練後剪枝法，針對 DiT 特有的參數分佈，引入平方轉換以平衡權重與激活值的貢獻，並開發聚類感知剪枝粒度來優化稀疏分配。實驗證明在 FLUX.1-dev 模型達到 50% 稀疏度時，CLIP 分數僅損失 0.001，能有效降低資源消耗且不損害影像品質。