深度分析 Ember Optimizer：因子化二階矩大幅降低 Token 介面 VRAM 佔用 針對大型語言模型中嵌入層與 LM-head 佔用大量顯存的問題，研究人員推出輕量化優化器 Ember。該技術將原本 AdamW 所需的稠密二階矩狀態改為行與列的 1D 因子分解，將顯存複雜度從 O(VD) 降低至 O(V+D)。實驗顯示 Ember 在 SFT、RL 與預訓練中效能與 AdamW 相當，且能將顯存佔用降低數千倍，顯著降低分佈式訓練的工程門檻。
