梯度閘控

深度分析

MANGO：透過梯度閘控與元學習正則化調控線上持續學習的穩定性與可塑性

線上持續學習需單次通過串流資料以解穩定性與可塑性衝突。MANGO以參數層級的梯度閘控與元學習正則化，利用重放緩衝評估遺忘影響，動態調整更新幅度。閘控依規範後參數敏感度縮放梯度，元正則化以重放回饋學習層級穩定係數。實驗在三個基準與多種緩衝大小下達到領先表現並產生正向回溯轉移。