FoLoRA：保留基礎模型能力的忘記感知 LoRA 優化框架

微調是讓大型基礎模型適應特定下游任務的常見做法，但在提升目標表現的同時，往往會犧牲在預訓練階段累積的通用能力。

FoLoRA：忘記感知的保留優化框架

研究者提出 Foundation Preserving LoRA（FoLoRA），作為一套考量遺忘與效用的優化機制。它以第一階保留條件為基礎，將遺忘懲罰定義在「預訓練代理」的激活上，同時以下游任務的激活衡量任務效用。

在每一次參數更新時，FoLoRA 會計算「每單位遺忘懲罰的任務效用」——即透過廣義 Rayleigh 商得到的分數，並以此分數對更新方向進行排序。這樣產生的光譜座標系統，使得 Adam 更新可以對效用低於遺忘懲罰的方向施加門控衰減，避免過度破壞非目標能力。

預訓練代理校準資料的生成

為了估算遺忘懲罰，FoLoRA 並不依賴單一的代理資料集，而是從已預訓練模型中抽樣，構建多樣化的校準資料，讓遺忘指標更貼近真實的通用能力分佈。

實驗結果

在數學推理、程式碼生成與指令遵循三大微調任務上，FoLoRA 均展現出比現有方法更佳的保留與適應平衡。相較於傳統 LoRA 或其他遺忘感知技術，FoLoRA 能在提升目標任務準確度的同時，最大化非目標能力的總體保留。

此結果顯示，透過遺忘懲罰與效用的協同考量，模型微調可以更安全、更有效地延伸基礎模型的應用範圍。

延伸閱讀

• ACROS：以門控殘差在不重訓下為解碼式LM引入可控詞義表示
• 殘差化稀疏自編碼器（ReSAE）解析：降低多層 Transformer 干預中的重複與交互
• KAN-SAE：以每維可學習 B-spline 強化稀疏自編碼器以解碼天氣模式

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。