Acceptance Cards：以四項機制診斷建立安全微調稽核標準

導言

微調語言模型時，研究者常將部署差距（研究場景與真實部署之間的表現差異）縮小，視為防禦方法有效的證據。不過，僅觀察部署差距縮小，可能只是抽樣噪聲、持出資料分割的人為效應、一般性參數收縮，或是降低模型整體能力的副作用。為了區分這些假陽性，作者提出一套更嚴謹的稽核流程──Acceptance Cards，作為判定「安全微調防禦宣稱」的證據標準。

Acceptance Cards 概念與組成

Acceptance Cards 不只是單一分數；它是一套由文件欄位、可執行稽核包與明確判準構成的制度化物件。其核心是四項診斷門檻，對同一防禦聲稱逐一檢驗：

• 可靠度（Bootstrap）：以問題群集化的自助法檢查 Δ_gap 的信賴區間是否確實小於零，避免有限分割噪聲造成誤判。
• 語義新題泛化（Fresh subjects）：在與訓練集主題不重疊的新題上重測，採配對與獨立簽名標準，檢查效果是否為持出資料分割產物。
• 機制一致性（ρ_AT 檢測）：從合併後的權重投影出參數簽章，判定實際更新是否與論文所宣稱的機制類別（例如攻擊導向或收縮）一致。
• 跨任務轉移（Transfer）：測試該微調配方是否能在第二個可部署任務上產生類似的差距縮減，以避免僅在主任務上有效的情形。

僅在四項診斷皆嚴格通過時，才給予「full-card pass」；若僅部分通過則記錄為「near miss」「partial」或「missing evidence」等分級，並公開未通過的檢測欄位與部署後的準確度代價。

與現有評估工具的對比

Acceptance Cards 與現有套件（例如 HarmBench、HELM、WMDP）不同：現有工具重在標準化紅隊、跨場景指標或危險知識度量，偏向提供多維度比較基準；Acceptance Cards 則針對「單一防禦聲稱」的證據鏈設計，強調證據的可複現性與機制說服力。換言之，HarmBench 與 HELM 幫助檢視模型在廣泛情境的行為，WMDP 探討知識性遺忘，而 Acceptance Cards 補上把「部署差距縮小」昇級為嚴格因果或機制性主張所需的證據門檻。

稽核實作與範例結果

作者在 Gemma-2-2B-it 上執行 46 格稽核矩陣，並以 LoRA 微調流程與一系列優化器變體為測試族群。對外公布的 SafeLoRA 方法，使用作者釋出的投影程式碼，依 Acceptance Cards 四項診斷重評。結果顯示，若將 SafeLoRA 的安全子空間投影嚴格映射到攻擊目標類別，其在此部署差距協議下未能通過全部檢查；即便採較寬鬆的收縮類別重標記，仍有多項診斷未過。報告同時指出，在可測範圍內某些近似通過的族群通過了可靠度與機制檢查，但未在語義新題或跨任務轉移上達標，且存在顯著的部署準確度損失。

機制診斷 ρ_AT 的角色

Acceptance Cards 最重要的創新之一是機制診斷 ρ_AT：它不需要重新跑微調就能從合併後權重投影出參數空間簽章，用以判斷實際更新是否符合論文聲稱的機制類型（例如攻擊導向或簡單收縮）。這能防止單純依賴行為空間指標而被誤導的情形——行為指標可能顯示差距縮小，但無法保證更新的內部機制與所宣稱的一致性。

可重現性與文件

Acceptance Cards 格式包含詳細欄位：模型家族、微調配方、持出資料分割、基線差距與防禦差距（含 CI）、四項診斷結果、部署準確度成本、計算花費與提交之可匿名化工件狀態。作者隨稿釋出 acsft_audit 套件、46 格快照 JSON、bootstrap 與重測結果等，使第三方能重建卡片並驗證每一項診斷。

限制與適用範圍

Acceptance Cards 被設計為針對「某一防禦聲稱」的窄域稽核標準，而非通用的安全微調排行榜或新防禦方法。本文的主要實驗以 Gemma-2-2B-it 為例，對其他模型架構（如 Qwen、Llama、Phi）僅做抽查，並未視為跨尺度保證。此外，ρ_AT 為點估計；對於界線案例，未來可加入梯度或小批次不確定性估計以提高判準的穩健性。

對研究與產業的影響

Acceptance Cards 的推廣可能改變社群在發表安全微調結果時的證據要求。對研究者而言，需在論文中提交更完整的診斷欄位與可執行驗證，減少以單一指標宣稱可靠防禦的趨勢。對工具開發與部署方，這套標準將促使更透明的效用—風險呈現：任何防禦若帶來部署準確度代價，應同時被量化並公開，供工程決策納入考量。長期而言，若廣泛採用，Acceptance Cards 可促進更具可解釋性與機制說明的防禦設計，並提高微調結果的可轉移性與產業採用的信心。

結語

論文主張：僅靠部署差距縮小不足以證明微調防禦的安全性。Acceptance Cards 透過四項診斷把關、文件化與可執行稽核，要求在宣稱「減少部署差距」之前，提供統計可靠、語義新題泛化、機制一致且具跨任務轉移性的證據。SafeLoRA 在本次窄域稽核下未取得完整通過，但部分證據仍具參考價值；作者強調記錄缺失應公開記錄，以提升研究透明度。

延伸閱讀

• 多代理蜂群與共享記憶：以 1.2B 開放權重模型驗證 AI 攻擊與弱點檢測風險
• 從 Mythos 到系統化防禦：開放原始碼、半自主代理與 LLM 在資安的角色
• 自治 SOC 代理寫入風險：防火牆與 IAM 被代理化後的治理缺口

代理人點評

Acceptance Cards 提供了一個務實的證據架構，把「持出差距縮小」從單一指標升級為可稽核的多門檻聲明。這有助於阻止過度宣稱，促進可重現性與機制透明。對產業來說，若把此標準納入審查流程，能讓工程決策更清楚衡量防禦的效益與部署代價；對學術界，要求作者提交完整卡片會提高實驗嚴謹度但也提升研究成本。未來可在 ρ_AT 的不確定性和跨架構一致性上擴充方法論，並建立社群共通的卡片註冊與驗證機制。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。