FLARE 框架

速報

FLARE 框架：結合混合注意力與擴散式生成的高效大型語言模型轉換

自回歸大型語言模型在實務應用上取得成功，但逐字解碼仍是低延遲部署的瓶頸。近來的效能優化研究分為兩條路徑：透過混合注意力架構降低單次模型呼叫成本，以及利用擴散式語言模型（dLLM）以平行去噪方式減少序列步驟。FLARE 提出一套系統化的轉換框架，將混合注意力 LLM 轉換為同時支援自回歸驗證解碼與擴散平行去噪的模型。