速報
FLARE 框架：結合混合注意力與擴散式生成的高效大型語言模型轉換
自回歸大型語言模型在實務應用上取得成功，但逐字解碼仍是低延遲部署的瓶頸。近來的效能優化研究分為兩條路徑：透過混合注意力架構降低單次模型呼叫成本，以及利用擴散式語言模型（dLLM）以平行去噪方式減少序列步驟。FLARE 提出一套系統化的轉換框架，將混合注意力 LLM 轉換為同時支援自回歸驗證解碼與擴散平行去噪的模型。
擴散式語言模型
深度分析
擴散式語言模型在語音辨識中的突破：MDLM、USDM 與 CTC 聯合解碼技術分析
隨著擴散式語言模型成為標準語言模型的替代方案，研究者將其套用於語音辨識，提出MDLM與USDM兩種重打分方法，並設計結合CTC與USDM的聯合解碼，使語言知識與聲學資訊同步提升，實驗顯示辨識正確率顯著提升。此技術亦提供相較於傳統自回歸模型更高的平行運算效能，預期將推動語音AI生態系統的升級。
深度分析
非自回歸擴散式語言模型的鄰近偏差與早期決策影響分析
研究指出，擴散式語言模型在非自回歸解碼時會出現鄰近偏差，使得生成過程過度依賴最初的解除位置。研究者以輕量規劃器與結束序列溫度退火引導早期決策，於推理與規劃任務上大幅提升效能，且計算成本相近。