Transformer 優化

深度分析

「SymExpLin」權重重參數化：結合對稱指數與線性路徑加速 Transformer 訓練

研究發現，Transformer訓練的權重分布呈重尾，線性參數化使大、小參數的相對更新差異極大。作者提出SymExpLin（SEL），結合對稱指數與線性雙路徑，使更新在對數空間呈比例放大。實驗顯示SEL在多種模型規模上將驗證損失收斂步數縮短約1.3‑1.5倍，且訓練結束後可折回標準權重，成本不變。