神經網路泛化

Grokking

從死記硬背到真正理解：光譜邊緣動力學揭示 Grokking 學習機制

研究發現神經網路在 Grokking 過程中的更新方向集中於「光譜邊緣」，揭示了學習本質上是發現低維度函數模式的過程。傳統解釋性工具難以捕捉此現象，而學習模式則與任務的代數對稱性高度相關，為 AI 泛化機制提供了全新的數學解釋。