ffn-replacement

深度分析

Graph Memory Transformer（GMT）：用中心點與轉移矩陣結構化取代 FFN，提升可解釋性

研究在自回歸解碼器型Transformer中，以圖結構記憶取代傳統FFN，提出Graph Memory Transformer（GMT），保留因果自注意力並以學習中心點與有向轉移矩陣進行記憶導引，實驗示範可訓練且提升結構可檢視性但在驗證損失上略低於密集基線。