CFQ:保護反事實可行性的量化訓練新法
研究發現低位元量化會保持準確率卻可能破壞模型的反事實可行性。論文提出Counterfactual-FaithfulQuantizationCFQ,訓練量化參數並優化混合精度位元分配。在教師的反事實點強制維持目標決策。並以有效性下降與反事實差距衡量,實驗顯示CFQ匹配準確度下改善指標。
量化可能悄悄破壞反事實可行性
在實務部署中,低位元量化常用以減少模型成本、維持預測準確度。但作者指出,量化有時會改變模型對反事實改動的回應:一項能在原模型翻轉決策的可行改動,經量化後可能失效或成本大增,形成對使用者不利的「不可回溯」效果。
提出CFQ以維持反事實行為
為了解決此問題,作者提出Counterfactual-Faithful Quantization(CFQ)。CFQ在訓練時同時調整量化參數與混合精度的位元分配,並在教師模型的反事實點上強制維持目標決策,且在全域位元預算下進行優化。論文從有效性、成本與方向穩定性三個面向形式化反事實在量化下的敏感性,並定義了Validity Drop與Counterfactual Recourse Gap兩個指標來揭露準確度以外的失效。
理論與實驗驗證
作者給出一個基於邊際的充分條件,說明在有界量化擾動下反事實可遷移的情形。實驗在Adult、German Credit與COMPAS資料集上進行,結果顯示與準確度匹配的基線相比,CFQ能在維持準確率的同時顯著改善Validity Drop與Counterfactual Recourse Gap,降低量化對可行性帶來的隱性破壞。
延伸閱讀
- XCount:以代數決策圖(ADD)與可組合近似計數量化決策樹集合敏感性
- 因果參數漂移模擬與 SCM 數位雙生:分類器健壯性與破壞點分析
- CauSim:以可執行結構因果模型(SCM)強化 LLM 的可監督因果推理
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。