深度分析 Transformer FFN 稀疏層間依賴解析：免訓練歸因方法揭示 GPT‑2 與 Qwen2.5 計算路徑 研究針對 Transformer 中的前饋網路神經元，提出免訓練歸因方法，發現僅需少量前層激活與注意力輸出即可重建神經元激活，且在適度稀疏下模型困惑度不變。實驗覆蓋 GPT‑2 系列與 Qwen2.5 多種規模，顯示約 17%‑19% 神經元具可辨識的專門計算，且稀疏路徑呈次線性增長，為模型壓縮與電路解釋提供新方向。
