擴散語言模型

深度分析

LaCache 無損快取框架：消除擴散語言模型冗餘計算，實現高效推理加速

擴散大語言模型在半自回歸解碼時面臨嚴重的算子級冗餘計算問題。研究團隊提出 LaCache 加速框架，透過無損狀態備忘錄快取嵌入、RoPE 與 FlashAttention 統計量，並導入針對 FFN 層的 FP8 量化策略以優化記憶體頻寬。實驗證明 LaCache 能在維持模型準確度的前提下，將推理速度提升 1.3 倍，與其他方案結合後最高可達 40.2 倍加速。