結構注意稅

深度分析

格式驅動的注意力偏差：結構注意稅在 RAG 系統中的實驗分析

本研究探討檢索增強生成中知識圖譜格式如何影響注意力分配，提出結構注意稅概念，發現三元組每 token 吸收注意力約為自然語句的 2–3 倍，導致示範注意力壓縮最高 42%。透過語意與結構分解，指出優化檢索內容與降低格式驅動注意力是兩條獨立改進路徑，並驗證格式平坦化等緩解策略的效益。