dynamical-temporal-attention

深度分析

Emergence Transformer：以 Dynamical Temporal Attention (DTA) 調控動態系統湧現行為

研究聚焦於序列動態中的時間注意力，提出可變時域查詢鍵值的動態時間注意力(DTA)使元件能與自身或鄰居過去狀態互動。neighbor-DTA傾向促進振盪相干，self-DTA則對網路結構呈現非單調最佳化注意力權重。於意見動態與Hopfield聯想記憶示範，DTA可調節共識並支援持續學習。