對抗模型蒸餾：Product-of-Experts (PoE) 的防禦與自適應評估

要點速覽

研究指出，讓模型更有用的輸出同時也可能更容易被模仿。作者以一個效用受限的教師與可適應學生間的最小極大對弈來刻畫這個權衡，並提出對應的評估與防禦策略。

方法與貢獻

在框架中，提出自適應評估規則讓學生重新加權高價值範例；教師端防禦則傾向抑制對蒸餾最有利的輸出。基於一個廉價的範例價值代理估計，研究衍生出Product-of-Experts（PoE）：一種只需前向傳播的防禦，生成時將教師模型與代理學生結合以抑制易被蒸餾的訊息。

實驗觀察

實驗在代表性任務上發現明顯的被動—自適應差距：使用自適應學生評估時，學生能回復顯著更多能力，顯示傳統被動評估常高估防禦效果。在此更強的評估下，昂貴防禦與PoE的效能差距顯著縮小，而PoE仍舊具備成本與保留推理痕跡的優勢。

結論

總體而言，有力的蒸餾很難完全阻擋。研究建議未來對抗蒸餾的評估與比較應以自適應學生為標準，而非僅憑被動測試。

延伸閱讀

• 自適應承諾深度：在 VLM 中學習何時重規劃以優化長程視覺推理
• CRAFT：結合原子陳述、ASR 與批判迴圈的多影片來源可追溯問答管線
• ATR 自適應表格檢索：查詢閾值與滑動視窗重排提升 text-to-SQL 精準度與效能

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。