語言模型微調

深度分析

DP‑SGD 結合 HMAC 匿名化於 1–3 億參數語言模型的記憶抹除實證分析

研究聚焦於CSIRT漏洞掃描資料的隱私微調，結合DP‑SGD與HMAC匿名化兩種防護。實驗顯示更新次數主導記憶降低，DP‑SGD只提供額外保證，HMAC可削減40%‑60%曝露且不產生次要目標。此結果提示未來微調需同時考量效能與表示層抹除。