結構張量

深度分析

在有限維代數框架下解析 grokking：結構張量、嵌入與泛化機制

本研究關注突然從長期記憶轉向泛化的現象，在有限維代數中探討乘法學習的動態。文中引入結構張量描述代數乘法，並將群運算視為特殊案例。研究區別了有限域與實域的學習機制，在有限域上嵌入學習成為產生延遲泛化的現象。文件實驗顯示代數的交換性、結合性、單位元存在與結構張量的稀疏度及秩，會影響泛化與時機。