循環上下文

深度分析

EMA 作為循環上下文基線：結構編碼與資訊損失的實證分析

本研究以 EMA 為簡易循環上下文探討序列模型的能力界線。研究顯示 EMA 能編碼時間結構，且多時間尺度 Hebbian 架構在語法角色指派上達到監督 BiGRU 96% 的表現，然而其會抹除詞彙身份，使大型語言模型的困惑度僅達 260，突顯固定係數累積的資訊稀釋問題。