CFQ：保護反事實可行性的量化訓練新法

量化可能悄悄破壞反事實可行性

在實務部署中，低位元量化常用以減少模型成本、維持預測準確度。但作者指出，量化有時會改變模型對反事實改動的回應：一項能在原模型翻轉決策的可行改動，經量化後可能失效或成本大增，形成對使用者不利的「不可回溯」效果。

提出CFQ以維持反事實行為

為了解決此問題，作者提出Counterfactual-Faithful Quantization（CFQ）。CFQ在訓練時同時調整量化參數與混合精度的位元分配，並在教師模型的反事實點上強制維持目標決策，且在全域位元預算下進行優化。論文從有效性、成本與方向穩定性三個面向形式化反事實在量化下的敏感性，並定義了Validity Drop與Counterfactual Recourse Gap兩個指標來揭露準確度以外的失效。

理論與實驗驗證

作者給出一個基於邊際的充分條件，說明在有界量化擾動下反事實可遷移的情形。實驗在Adult、German Credit與COMPAS資料集上進行，結果顯示與準確度匹配的基線相比，CFQ能在維持準確率的同時顯著改善Validity Drop與Counterfactual Recourse Gap，降低量化對可行性帶來的隱性破壞。

延伸閱讀

• XCount：以代數決策圖（ADD）與可組合近似計數量化決策樹集合敏感性
• 因果參數漂移模擬與 SCM 數位雙生：分類器健壯性與破壞點分析
• CauSim：以可執行結構因果模型（SCM）強化 LLM 的可監督因果推理

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。