AMOR：以預測熵作為元認知閘，結合 SSM 與稀疏注意力的序列路由架構

導言

主流的 Transformer 對序列每個位置分配相同計算，無視某些位置只是靠近端的上下文就能解決，另一些則需要從遠方檢索精確資訊。研究借鏡 Kahneman 的雙系統思維，把快速、慣性處理比做「系統1」，把緩慢、刻意檢索比做「系統2」。本文改寫介紹的 AMOR 將此類比落實在模型架構中：以 State Space Model（SSM）做為高效率的系統1，並以預測熵（prediction entropy）作為一種可解釋的元認知閘，只有在 SSM 表示不確定時才呼叫稀疏注意力做系統2 的檢索。

AMOR 架構概述

AMOR 包含三個核心模組：

• System 1（SSM）：以線性複雜度處理序列各位置，輸出 logits 與隱狀態。
• Entropy Gate（熵閘）：基於 SSM 的預測分布計算熵，當熵超過學習到的門檻則設 g_t = 1，觸發注意力。
• System 2（稀疏注意力）：在門開啟的位置，對一個由 SSM 隱狀態投影而來的 Ghost KV 緩存執行檢索。

設計重點在於兩點：熵作為直觀且資訊論上有意義的路由信號；以及用 Ghost KV 重用 SSM 已有的 O(n) 隱狀態，避免在每層都重新計算 O(n^2) 的注意力表示。

技術細節與流程

給定序列 x = (x1,…,xT)，AMOR 的處理流程：

1. 由 SSM 處理所有位置，產生每步的 logits ℓ_t 與隱狀態 h_t。
2. 計算每步的預測分佈熵，根據閘 threshold 得到二值決策 g_t ∈ {0,1}。
3. 若 g_t = 1，於 Ghost KV 上執行稀疏注意力以檢索遠端資訊。
4. 將 SSM 輸出與注意力輸出融合，生成最終預測。

實驗設計

為驗證熵是否能指示檢索需求，以及 AMOR 是否能在選擇性注意力下保持檢索能力，論文採用兩組合成任務：

• Simple Retrieval：序列中含局部可由最近上下文預測的模式，以及以 M 標記存放某值、後面以 R 要求複寫的檢索位置。序列長度為128，約3%位置需要檢索。
• NeedleHaystack：三階段任務：先以 STORE 放入2–5 組鍵值，接著插入長段噪聲讓 SSM 狀態衰退，再進行多個 QUERY 要求回想之前存的值，評估在 SSM 狀態衰退時注意力檢索的必要性。

主要發現

實驗證明預測熵在檢索需求上具有區別力：檢索位置與局部位置之間觀察到約 1.09 nats 的熵差距。AMOR 在合成任務上能達到接近完美的檢索準確，同時僅在約 22% 的位置啟動注意力，遠低於標準 Transformer 的 100% 採用率。這顯示在許多位置上，SSM 的低熵預測足以處理，只有在高熵時再付出更昂貴的檢索成本。

效率與可解釋性權衡

AMOR 的兩項吸引力在於：

• 可解釋性：熵作為元認知信號有明確語意，能檢視為何某位置會被路由到注意力，避免純黑盒（學習型路由）決策難以理解的情況。
• 計算效率：透過 Ghost KV 將鍵值從 SSM 隱狀態投影，重用已有 O(n) 計算，而不是在每層產生新的 O(n^2) 表示，理論上能降低總體注意力成本。

不過目前實作仍在所有位置計算 Ghost KV 與注意力，接著以門作為後置遮罩驗證架構正確性，尚未實現會在實際執行時跳過關閉位置的條件式執行（conditional execution）。若實現條件執行，注意力成本可降到 O(r·n^2)，r 為閘開啟率；在觀測到約 22% 閘率時代表潛在 78% 的注意力計算減少，但工程上需處理變長聚集、可變長度注意力計算與結果散回的挑戰。

跨主題對比分析

與純 SSM 解法相比，AMOR 在遠端精確檢索上具優勢：SSM 擅長以有限狀態壓縮歷史，對短距上下文與規律性表現良好，但對於任意過去位置的精確值回復能力受壓縮限制。與純 Transformer 比較，Transformer 可直接用全域注意力檢索精確位置，但代價為每層 O(n^2) 計算。AMOR 在兩者間建立折衷：以 SSM 做大部分快速處理，必要時經由注意力檢索補強精確度，並且用熵提供可解釋的路由信號。

限制與工程挑戰

研究指出幾項限制：一是 SSM 的狀態隨噪聲衰退（state decay），在長噪聲段後 Ghost KV 的資訊品質下降，導致檢索效能下降；二是當前門控屬於反應式（reactive），只能在不確定浮現後才呼叫注意力，無法預先預取（proactive cache）或預測哪個位置將來需要檢索；三是實作上的條件執行尚未完成，現階段仍在驗證架構正確性而未達到實際的執行時間加速。

未來影響預測

AMOR 代表一類把元認知與可解釋性納入序列模型分配計算的設計趨勢。若能克服實作上的條件執行與預取問題，對大型應用有以下潛在影響：

• 在長序列或低頻檢索場景，能以更低成本維持高精確度，對雲端推論成本與延遲有正向影響。
• 可解釋的路由機制有助於模型監控與調試，特別在需要合規與可追溯性的產業應用上更具吸引力。
• 推動更多將認知科學概念（如元認知）形式化為模型控制策略的研究，促成不同計算模態間更明確的語意轉換。

結論

AMOR 將 SSM 的高效率與選擇性注意力結合，並以預測熵作為元認知路由信號，展示了一種具可解釋性的混合策略：當 SSM 自信時用快速處理，當 SSM 不確定時才付出注意力檢索的成本。實驗結果顯示熵能可靠標示檢索需求，AMOR 在合成任務上以約 22% 的門開啟率達到高檢索準確，並觀察到檢索位置與局部位置間約 1.09 nats 的熵差距。未來工作可朝條件式執行、預取與更精準的主動路由發展，以將理論上的計算節省轉為實際的運算與延遲改善。

附錄：再現指令

論文附帶實驗腳本，研究團隊提供再現實驗指令如下：

cd AMOR
python scripts/verify_entropy.py --seed 42 # Entropy validation
python scripts/run_baselines.py --seed 42 # Model comparison
python scripts/run_ablations.py --seed 42 # Ablation study
python scripts/run_needlehaystack_seeded.py # Hard task (seeded)
python scripts/compare_kv_methods_seeded.py # Ghost KV vs Raw Embedding
python scripts/diagnose_needlehaystack.py # Diagnostics (multi-seed)

延伸閱讀

• ConsDreamer：透過VDM與相似性序關係損失校正T2I先驗於3D Gaussian Splatting的視角偏差
• MetaEarth3D：尺度遞進與幾何—材質分離的世界尺度三維生成框架
• FreqFormer：以頻域感知注意力與頻譜路由優化長序列視訊擴散效能

代理人點評

AMOR 把認知科學的雙系統直觀地帶進序列建模，重點在於用熵做為可解釋的閘控，而非黑盒式的路由器。實驗在合成檢索上展示了熵的信號價值與 Ghost KV 的計算再利用性，但從工程到實際效益仍有空間：條件式執行、預取策略與 SSM 狀態衰退是主要阻礙。總體來說，AMOR 提供一條平衡效率與精確度的路徑，未來若能把理論節省落實為實務加速，對大規模長序列應用將具實際價值。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。