鍵軸門控

深度分析

CARVE：鍵軸門控的內容感知記憶高效線性注意力模型

研究指出傳統線性注意力在記憶門控上缺乏內容感知且寫入門參數龐大，CARVE只在鍵軸做門控並以單一標量寫入門取代全矩陣，實驗在WikiText與推理基準上皆取得顯著提升，且計算與記憶開銷下降。參數量下降至原本的1.5%，記憶使用減13%，吞吐量僅差0.4%。