非自回歸解碼

深度分析

非自回歸擴散式語言模型的鄰近偏差與早期決策影響分析

研究指出，擴散式語言模型在非自回歸解碼時會出現鄰近偏差，使得生成過程過度依賴最初的解除位置。研究者以輕量規劃器與結束序列溫度退火引導早期決策，於推理與規劃任務上大幅提升效能，且計算成本相近。