激活記憶體優化

深度分析

LARS：以激活子空間脫鉤序列長度的低記憶體微調框架

在地端或資源受限環境微調大型語言模型時，傳統以可訓練參數數量為評估標準的做法容易誤導部署可行性。LARS（Low-memory Activation-Rank Subspace）提出把微調操作限制在序列池化後的低秩激活子空間，直接對抗中間激活張量所造成的記憶體高峰。