擾動歸因揭示：LLM微調策略如何改變程式規範的解釋行為

重點導讀

研究指出，微調方式會改變大型語言模型在自動化程式規範任務的解釋行為。完整微調與參數高效率方法在歸因分佈上出現明顯差異，且模型放大帶來特定解析偏好。

研究背景與方法

團隊採用擾動式歸因分析，比對完整微調(FFT)、低秩適配(LoRA)以及量化LoRA等微調策略，並橫向評估不同參數規模下的行為差異。目標是從解釋性角度理解訓練決策如何塑造模型對規則性文本的聚焦與權重分配。

主要發現

實驗顯示，使用完整微調的模型呈現出統計上不同且更集中的歸因模式，意味著模型在判斷時會把注意力更明確地置於少數關鍵成分。此外，隨著模型規模增加，模型逐步發展出偏好策略，例如更重視數值限制與規則識別，但在生成與參考可機器處理規則的語意相似度上，對超過某個規模的模型出現成效平緩現象。

應用與意義

這項工作提供了理解模型內部解釋行為的實證線索，對需要依循嚴格規範的領域，如建築與工程相關應用，具有參考價值。透過選擇合適的微調策略與模型規模，可以更有意識地提升模型在規範性任務上的透明度與可解釋性。

延伸閱讀

• LLMbench：以對數機率逐詞可視化的 LLM 比對工作臺
• PolicyBank 解構：用工具層政策庫與迭代回饋修正 LLM 代理人規格缺口
• Chain-in-Tree：以分支必要性提升 LLM 樹搜尋效能的框架

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。