Transformer 注意力頭

深度分析

「光譜參與率」結合任務篩選與因果消融：三步驟定位 Transformer 注意力頭專門化電路

本研究提出三步驟方法，利用每層注意力頭的光譜參與率指標篩選出與特定任務相關的電路，並以匹配隨機與全層上限做因果驗證，證實在 51M 至 1B 參數模型中，約 17%‑19% 的頭具備可辨識的專門計算能力。跨架構驗證顯示此方法在密集式與混合專家模型皆能找出 3‑6 頭的誘導電路，且比例隨規模擴大保持恆定。