突破性持續學習框架:預測式持續學習與轉移效率新概念
本研究重新檢視持續學習(Continual Learning, CL)的核心目標,指出過度追求知識保留可能阻礙在非靜態環境中的即時適應。
重新審視持續學習的保留目標
持續學習文獻長期以減少災難性遺忘為核心,隱含的假設是終身學習者應該近似聯合任務學習(Joint-Task Learning, JTL)解,保留所有過往知識。然而在非靜態環境中,過度保留可能妨礙即時適應。
以平均終身誤差為新指標
作者將焦點轉向平均終身誤差(Average Lifelong Error, ALE),將持續學習形式化為線上優化問題,描述環境動態與學習動態的交互作用。
轉移效率與關鍵任務時長
提出「轉移效率」作為量化不穩定性(Instability)與暫時誤差(Transient Error)之間張力的指標。在滿足線性與神經網路模型的輕微收斂條件下,推導出「關鍵任務時長」的閉式解:當歷史知識的保留導致正向靜態偏差時,超過此時長,過往知識從暖啟優勢變為優化負擔。
實驗驗證與預測式持續學習
在持續影像分類與強化學習基準上驗證上述理論,結果與預測相符。進一步將持續學習與可預測序列的線上學習框架相連結,指出 JTL 只是更廣泛目標族群中的一例,並提出「預測式持續學習」新類別。以 Window 演算法為概念驗證,該演算法在任務分布漂移下介於 JTL 與獨立任務學習(Independent-Task Learning, ITL)之間,表現優於兩者。
延伸閱讀
- RAPID:層級感知冗餘剪枝與重要性合併提升 Vision Transformer 效能
- YOLO26 以 NMS‑free、DFL‑free 設計提升即時偵測效能並支援多任務與開放詞彙
- 少步蒸餾新配方:Qwen-Image-Flash 以 4 NFE 實現十倍取樣加速與高畫質生成
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。