預測熵

深度分析

AMOR：以預測熵作為元認知閘，結合 SSM 與稀疏注意力的序列路由架構

序列模型常對每個位置給予相同計算，忽略局部與檢索需求差異。本文改寫的研究提出 AMOR（Adaptive Metacognitive Output Router），以線性複雜度的 SSM 作為「系統1」快速處理，並用預測分布的熵當作元認知閘，只有在不確定（高熵）時才啟動稀疏注意力（系統2）。