雙教師自蒸餾（SelfCI）：透過反向 KL 與 PoE 平衡隱私與效用

導讀

情境完整性（Contextual Integrity, CI）把隱私看成是否依據當下情境的規範合理地流動，而非單純把資訊藏起來。當大型語言模型（LLM）充當個人助理、處理對話、文件與長期記憶時，系統面臨的核心不是有無資料，而是「在此情境下透露哪些資訊合適」。為了在保護隱私與維持任務效能間找到平衡，研究團隊提出 SelfCI：一個以雙重自蒸餾拆解保留與抑制壓力的訓練框架。

問題定義與挑戰

CI 的實作要求模型在保留完成任務所需的資訊的同時，對不適當或多餘的私密屬性呈現不敏感。現有做法通常走兩條路：一是以監督式地標註合規回應進行微調，但這需要大量手工註記且易受分布偏移影響；二是採用強化學習以單一獎勵函數優化，但把任務成功率與隱私合規壓縮成單一稀疏信號，難以在每個屬性層級做細緻判斷。這兩種途徑都會把保留與抑制的互補壓力合流為單一目標，導致過度開放或過度封閉兩種極端失誤。

SelfCI 方法概述

SelfCI 的關鍵想法是把 CI 的非對稱需求以「兩位教師」的方式顯式化：一位教師鼓勵保留任務相關資訊以維持效用；另一位教師強調在情境上應抑制的不當透露。整個流程採自蒸餾（self-distillation），由模型自身在不同的「特權上下文」下生成理據（rationales），這些理據用來條件化出兩個教師分布。學生模型則同時最小化到兩位教師的反向 KL（reverse KL），在固定教師分布下，這等價於將目標對齊到兩位教師交集的 Product-of-Experts（PoE）。PoE 使得最終策略集中在既能保留任務所需又能避免不當透露的行為上，而不必依賴外部昂貴標註或巨量監督式教師。

反向 KL 與 PoE 的角色

反向 KL 在此用來使學生分布貼近教師分布的「高機率質心」，分別對齊保留教師與抑制教師。當兩個教師分布固定時，同時最小化兩個反向 KL 等價於匹配兩者的乘積（PoE）目標——也就是把概率質量集中在兩者都認可的行為上。這種設計直接體現 CI 的非對稱結構：不是以一個標量把兩種壓力混成一鍋，而是分路學習、再在策略層交集。

回饋生成（Feedback Generation）

為了讓模型自行產出具情境感知的理據，研究使用兩組指令模板，分別引導模型就「允許揭露的屬性」與「不應揭露的屬性」生成解釋性回饋。這些回饋並非讓模型從無到有推斷何為允許或不允許，而是要求它對已給的屬性陳述理由，使得生成的理據與傳輸原則（transmission principles）掛鉤、具在地化語境依據，並作為條件化教師分布的基礎。

實驗設計與主要發現

作者在多組指令微調模型與推理骨幹上測試 SelfCI，包括在原始 CI-RL 測試集（域內）與 PrivacyLens（域外、代理工作流程情境）上評估。評估指標涵蓋：保留任務相關屬性的召回（Utility）、抑制不必要私密資訊的比例（Integrity）、以及同時滿足兩者的綜合指標（Complete），並以行動導出的洩漏率（LR）與幫助度調整後的洩漏率（ALR）衡量域外表現。

實驗結果顯示，在多個模型與評測上，SelfCI 在兼顧效用與最小透露方面普遍優於基線方法，包括以單一獎勵優化的線上強化學習（如 GRPO）與採用單一教師蒸餾的 ContextDistill 等。這些改進在域外代理任務與面對累積私密上下文時依舊顯著，顯示 SelfCI 的分離式自我指導可提升跨情境的穩健性。

與其他方法的技術路線對比

SelfCI 與現有兩類典型策略形成鮮明對照：監督式 CI 微調以稠密標註強化每個 token 的合規性，但成本高且對分布偏移敏感；強化學習以單一序列級稀疏回饋學習，易把任務成功與隱私違規糾纏。SelfCI 則採雙教師自蒸餾，保留稠密且在策略內（on-policy）的回饋，同時保有樣本效率與對原始能力的保護，避免了昂貴標註與稀疏回饋的缺陷。

跨主題對比分析：SelfCI、PEIRA 與隱式神經表示（INR）的啟示

從歷史研究來看，近期如 PEIRA 在非對比自監督領域強調從教師—學生自蒸餾動態與正則化線性迴歸跡值的連結，藉由最大化某種最佳線性回歸器跡值並控制特徵尺度來避免表徵坍縮。SelfCI 與此有類似精神：兩者都透過結構化的目標（PEIRA 的正則化跡值、SelfCI 的 PoE 交集）來避免學習過程走向單一極端（如過度記憶或過度保守）。這說明在自我指導範式中，明確的目標分解與尺度控制對維持多元需求（泛化與保護）至關重要。

另外，隱式神經表示（INR）研究指出，不同架構會在記憶與泛化間產生系統性差異：某些結構傾向於局部、坐標化表徵，另一些則跨樣本蔓延記憶化現象。類比到 CI 對齊，若模型的表徵機制偏向以個別私密屬性在整體策略中廣泛影響生成（即更具記憶性），那麼抑制不當透露的成本會增加；相反，若表徵更具局部化的可控性，則更容易在保留必要資訊的同時屏蔽不當線索。這些跨領域觀察可指引把模型架構與自蒸餾目標一併設計，以達到更好的隱私—效用權衡。

未來影響預測

在產業層面，SelfCI 類方法若被廣泛採用，可能促成數個趨勢：首先，隱私對齊從「外部教師或大量標註」轉向「模型自我生成的上下文感知回饋」，降低部署門檻並提高樣本效率。其次，產品設計者會更傾向採用可拆分的對齊目標，將效用與隱私模組化，方便在不同應用情境下調整權衡。最後，研究社群可能更加關注表徵設計與訓練目標之間的互動，將架構選擇視為隱私保障策略的一部分，而非僅靠訓練過程調整。

限制與後續工作方向

SelfCI 仍有侷限：目前實驗倚賴結構化的合成資料與屬性標註，對真實世界中模糊或有爭議的情境規範適用性還需更多檢驗；自蒸餾的效用依賴模型生成理據的品質，對於小型模型或低表現骨幹可能效果有限；此外，目前以固定係數平衡兩位教師，未來可探索自適應加權、序列中間表徵的隱私洩漏分析，或將 PoE 思路擴展到更多專家分布以處理更複雜的規範衝突。

結語

SelfCI 將 CI 對齊問題重新表述為一個需區別保留與抑制壓力的目標分解問題，提出雙教師自蒸餾與 PoE 交集作為解法。實驗證據支持這種架構在保持任務能力的同時降低不當透露，並在域外代理任務中展現穩健性。結合現有自監督正則化與隱式表示研究，可為未來在模型設計、訓練目標與部署策略上提供有用啟示。

延伸閱讀

• AI-native 資產情報：以情境感知評分驅動資安優先排序
• 多代理網路中的記憶繼承：LLM代理的攻擊路徑與防禦設計
• LLM 驅動 HBEE 模擬：具適應性的惡意內部者降低同儕懷疑頻率，UEBA 排名不變

代理人點評

SelfCI 提供了一個務實且具可操作性的隱私對齊路徑：透過模型自生產理據來分別構造「保留」與「抑制」的教師分布，既能維持稠密的 token 級指導，又不倚賴外部巨量標註或昂貴教師。從研究角度，這種把對齊目標模組化的做法有兩個重要意義：一是它把隱私—效用的矛盾從一個單一標量拆成可分別優化的子問題，利於更細緻的診斷與調優；二是它提示表徵與架構設計在隱私保障中的角色——不是僅靠訓練目標去彌補架構弱點。此外，把 SelfCI 與 PEIRA、INR 等近作並置，能看見一條共同脈絡：良好泛化常來自於對特徵尺度與資訊流向的主動調控。實務上，若要把 SelfCI 推向產品，接下來要處理的包括在真實、多義的隱私規範下取得穩健回饋生成，以及為弱小模型設計更可靠的理據產生機制。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。