速報
Goldstone 類自由度讓等變深度網路自然穩定:跨層傳訊與長期記憶機制
研究指出當神經網路內部層對連續對稱呈等變時,會出現類Goldstone自由度。作者以理論分析與實驗驗證,顯示這些自由度能跨層維持相干性,並在迴圈迭代中持續傳播資訊,強化表徵多樣性與長期記憶能力。在前饋網路可提升可訓練性與跨層表徵差異性;在迴圈網路則有助於長期資訊保存與序列建模表現。
速報
研究指出當神經網路內部層對連續對稱呈等變時,會出現類Goldstone自由度。作者以理論分析與實驗驗證,顯示這些自由度能跨層維持相干性,並在迴圈迭代中持續傳播資訊,強化表徵多樣性與長期記憶能力。在前饋網路可提升可訓練性與跨層表徵差異性;在迴圈網路則有助於長期資訊保存與序列建模表現。
深度分析
研究在具對稱性任務中提出商空間擴散模型,將等價類視為單一元素以降低學習自由度。作者推導商空間上的擴散過程,並以水平抬升回到原空間實作,保證取樣可回復目標分布。實驗於小分子與蛋白結構生成上,較既有對稱處理與對齊啟發法呈現穩定效能提升。研究結果暗示此方向可簡化模型設計並提升採樣有效性。