深度分析
「DiT-Pruning」:針對 Diffusion Transformer 的高效模型壓縮與計算優化
Diffusion Transformers (DiTs) 雖生成品質優異但運算成本極高。本研究提出 DiT-Pruning 訓練後剪枝法,針對 DiT 特有的參數分佈,引入平方轉換以平衡權重與激活值的貢獻,並開發聚類感知剪枝粒度來優化稀疏分配。實驗證明在 FLUX.1-dev 模型達到 50% 稀疏度時,CLIP 分數僅損失 0.001,能有效降低資源消耗且不損害影像品質。
深度分析
Diffusion Transformers (DiTs) 雖生成品質優異但運算成本極高。本研究提出 DiT-Pruning 訓練後剪枝法,針對 DiT 特有的參數分佈,引入平方轉換以平衡權重與激活值的貢獻,並開發聚類感知剪枝粒度來優化稀疏分配。實驗證明在 FLUX.1-dev 模型達到 50% 稀疏度時,CLIP 分數僅損失 0.001,能有效降低資源消耗且不損害影像品質。
深度分析
DiffusionTransformer在1K解析度表現優異,推向原生4K多樣長寬比卻遇位置編碼、VAE壓縮與優化耦合問題。UltraFlux採用Resonance2DRoPE+YaRN、非對抗VAE後訓練、SNR感知Huber小波損失與階段式美學課程,於基準測試中超越開源模型,AUC提升逾6%。
深度分析
DiT強化學習後訓練成本高,研究提出Spotlight系統,同步利用閒置的SpotGPU進行種子探索,並採用彈性序列平行與搶占感知排程,允許探索階段使用前一迭代的舊模型權重保留相對排名,實測可在相同驗證分數下提速至4倍,總成本降低1.4至6.4倍,同時提升影像品質。
深度分析
隨著多模態生成模型的廣泛應用,內容安全與版權風險同步升高。
深度分析
隨著文字生成圖像模型追求更高語意對齊,生成多樣性卻日益受限。研究提出在 DiffusionTransformer的多模態注意力通道中即時施加情境空間排斥,於結構已形成但構圖未定前引導生成路徑。實驗顯示此法可在不犧牲影像品質與語意符合度的前提下,顯著提升輸出多樣性,且計算開銷極低。
條件流匹配生成模型
計算流體力學模擬成本高,研究提出 FluidFlow 生成模型以條件流匹配取代傳統擴散,直接在結構化與非結構化網格上學習。模型結合 U‑Net 與 DiT,於氣動外形與全機三維測試中取得低誤差與佳泛化,顯示其在工程應用的可行性。