正交化

速報

Pro‑KLShampoo：結合Kronecker預條件與正交化的LLM預訓練優化器

在LLM預訓練中，作者觀察到KL‑Shampoo的Kronecker預條件呈現少數主導特徵值加上平坦尾部的「spike‑and‑flat」譜結構。提出將一個Kronecker因子限制在可參數化族，於主子空間保留完整頻譜，其餘方向共享單一特徵值並以正交化處理，結果在多個尺度上超越KL‑Shampoo。