大型模型訓練

深度分析

Gefen：自動分塊與動態量化的記憶體節省優化器，將 AdamW 記憶體需求降至 1/8

研究提出記憶體省8倍的Gefen優化器，利用自動分塊共享二階動量與學習式量化一階動量，保持AdamW效能，同時在FSDP與DDP訓練中提升20%以上吞吐量，讓大型模型訓練更具可行性。理論證明高Hessian相關參數的平方梯度相近，算法僅需首輪梯度即可自動分塊，並提供量化碼本程式碼於GitHub開源。