Goldstone 類自由度讓等變深度網路自然穩定：跨層傳訊與長期記憶機制
研究指出當神經網路內部層對連續對稱呈等變時，會出現類Goldstone自由度。作者以理論分析與實驗驗證，顯示這些自由度能跨層維持相干性，並在迴圈迭代中持續傳播資訊，強化表徵多樣性與長期記憶能力。在前饋網路可提升可訓練性與跨層表徵差異性；在迴圈網路則有助於長期資訊保存與序列建模表現。
Goldstone 類自由度讓等變深度網路自然穩定
研究發現，在內部層對連續對稱呈等變的深度神經網路中，會出現類Goldstone自由度，這些模式可作為跨層與跨迭代傳遞相干訊息的內在通道，直接影響資訊在深度方向與迴圈迭代中的傳播。
透過理論分析與實驗驗證，作者指出這類自由度能在不依賴殘差連接或正規化等外在穩定器的情況下，維持穩定且相干的訊號流。在前饋架構上，這帶來更好的可訓練性與層間表徵多樣性；在迴圈設定上（含RNN與GRU），同樣機制則有助於長期資訊保存與長序列建模的表現提升。
此研究提出一條不同於架構式穩定化的內在動力學路徑，對理解深度網路如何在層間與時間維度上保持資訊一致性，以及未來設計更具記憶力與穩定性的等變模型，具有啟發性意義。
延伸閱讀
- Kolmogorov–Arnold 網路（KANs）：揭示訓練動態、泛化與差分隱私下的限制
- MinMax 迴圈神經級聯（RNC）：以 MinMax 代數抗衡梯度消失的遞迴架構
- 馮·諾依曼神經元與 VNN：細胞陣列自我構架的神經網路新路徑
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
