深度分析
AMOR:以預測熵作為元認知閘,結合 SSM 與稀疏注意力的序列路由架構
序列模型常對每個位置給予相同計算,忽略局部與檢索需求差異。本文改寫的研究提出 AMOR(Adaptive Metacognitive Output Router),以線性複雜度的 SSM 作為「系統1」快速處理,並用預測分布的熵當作元認知閘,只有在不確定(高熵)時才啟動稀疏注意力(系統2)。
深度分析
序列模型常對每個位置給予相同計算,忽略局部與檢索需求差異。本文改寫的研究提出 AMOR(Adaptive Metacognitive Output Router),以線性複雜度的 SSM 作為「系統1」快速處理,並用預測分布的熵當作元認知閘,只有在不確定(高熵)時才啟動稀疏注意力(系統2)。
速報
研究探討將受限流形超連結(mHC)應用於狀態空間模型(SSM)語言建模。做法包括將殘差流擴展成多平行流,透過Sinkhorn-Knopp做單純形預混與後混,並在每層施加雙重隨機矩陣投影。結果在WikiText-2上顯示驗證損失與困惑度皆改善,代價是推論吞吐略降且記憶占用增加。
深度分析
隨著State‑Space模型在基因、臨床與資安等長序列應用中崛起,其線性時間特性吸引關注,但安全性仍未被系統化探討。本研究提出五層攻擊面、三種專屬攻擊(光譜對抗、延遲觸發後門、容量飽和)以及跨領域威脅模型,並在基因注入實驗中顯示狀態完整性違反指標提升至0.519,遠高於隨機基準,突顯新興風險。