LoRA 優化

速報

FoLoRA：保留基礎模型能力的忘記感知 LoRA 優化框架

微調雖能讓基礎模型適應特定任務，但常會削弱預訓練時獲得的通用能力。為了同時提升目標任務表現與保留非目標能力，研究團隊提出 Foundation Preserving LoRA（FoLoRA），一種以遺忘懲罰與任務效用為指標的優化方法。