Hessian頻譜崩潰

速報

深度神經網路塑性喪失與Hessian頻譜崩潰：持續學習新突破

本研究探討深度神經網路在持續學習情境下為何會失去塑性，導致無法在不重新初始化參數的情況下學習新任務。作者發現，新任務初始化時會出現Hessian頻譜崩潰，意味著有意義的曲率方向消失，梯度下降失效。