長期記憶

速報

Goldstone 類自由度讓等變深度網路自然穩定：跨層傳訊與長期記憶機制

研究指出當神經網路內部層對連續對稱呈等變時，會出現類Goldstone自由度。作者以理論分析與實驗驗證，顯示這些自由度能跨層維持相干性，並在迴圈迭代中持續傳播資訊，強化表徵多樣性與長期記憶能力。在前饋網路可提升可訓練性與跨層表徵差異性；在迴圈網路則有助於長期資訊保存與序列建模表現。