深度分析
利用 Adaptive Reparameterized Time (ART) 與 RL 提升擴散模型採樣效率
擴散模型採樣效率受限於時間步分配的經驗法則。本研究提出 ART 框架,將時間步選擇定義為連續時間控制問題,透過引入採樣時鐘動態調整物理時間推進速度。研究進一步開發 ART-RL,利用強化學習與 Actor-Critic 演算法在高維空間求解最佳採樣率。結果顯示,ART 能在相同計算預算下顯著提升生成品質,且具備強大的跨數據集與跨求解器泛化能力。
深度分析
擴散模型採樣效率受限於時間步分配的經驗法則。本研究提出 ART 框架,將時間步選擇定義為連續時間控制問題,透過引入採樣時鐘動態調整物理時間推進速度。研究進一步開發 ART-RL,利用強化學習與 Actor-Critic 演算法在高維空間求解最佳採樣率。結果顯示,ART 能在相同計算預算下顯著提升生成品質,且具備強大的跨數據集與跨求解器泛化能力。
深度分析
本研究以高斯分布為不變流形,將Transformer的資料傳播建模為概率測度上的非線性控制系統,證明高斯分布在自注意力與仿射前饋層下保持不變,並將無限維動力學化簡為均值與協方差的雙線性控制方程。進一步證明在時間變參數下,若目標協方差與初始協方差秩相同,可於有限時間內精確達成。