線性自注意力

深度分析

Transformer 也能做除法？層正規化讓線性自注意力直接算出最小平方法

研究探討 Transformer 在上下文學習中，如何利用線性自注意力結合層正規化，直接近似求得線性迴歸的最小平方法，而非傳統的梯度下降迭代。作者構建了一個僅有 2 層、2 個注意頭、維度 4 的小型模型，並在加入 ℓ1 正則化的訓練下，證實模型會學會以層正規化執行除法運算，產生閉式解。