ICED：以稀疏非負分解在 CLIP 視覺－語言模型上實現概念級遺忘

導言

大型視覺－語言模型（VLM）在對齊影像與文字表示方面表現出色，但在實務部署時也帶來資料治理與隱私風險：模型可能隱含並暴露訓練資料中的敏感或受限資訊。傳統的機器遺忘方法多半以影像或樣本為單位進行移除，這種原子化的處理方式無法區分同一張影像中互相糾纏的多個語義概念，經常會在試圖移除目標知識時誤傷並削弱其他應保留的上下文語義，進而損及模型的整體效用。

ICED 的核心概念與流程

ICED（Interpretable ConcEpt Decomposition）提出概念級的可解釋遺忘思路：先從欲遺忘集合構建任務專屬的概念詞彙，然後把影像的 CLIP 表徵分解為稀疏、非負且過完備的概念基底組合。這種分解讓每張影像可以用一組可解釋的概念係數表示，進而提供一個對語義成分做選擇性干預的介面。

整體流程分兩階段：第一階段使用多模態大型語言模型（MLLM）從欲遺忘集合擷取候選語義概念，去重並補齊通用背景概念後，透過 CLIP 的文本編碼器建立對齊視覺空間的概念字典；接著對每張影像求解稀疏非負分解，得到可解釋的概念權重。第二階段在此概念表徵上進行遺忘優化：設計三個損失項──目標概念抑制、樣本內非目標語義保留，以及全域跨模態知識保留，僅更新影像編碼器以去除目標概念的影響。

理論直覺

作者從概念字典的角度給出選擇性遺忘的直覺性保證：若目標概念在字典中與特定文字查詢高度對齊，且與非目標概念之間的重疊度較小，則移除對應的概念係數會明顯降低目標查詢的分數，但對非目標查詢的影響會被嚴格限制。換句話說，乾淨且區分度高的概念詞彙有助於在不破壞其他視覺語義的情況下，精準地抑制指定知識。

實作重點與實驗設定

實驗在近域（Breeds，ImageNet 的子群）與跨域（CIFAR-10）忘記任務上評估，採用兩種 CLIP backbone 做比較。在實作細節上，作者描述了詞彙構建流程、稀疏非負分解的正則化設置，以及在遺忘階段使用的三項損失權重與訓練常規（例如僅更新影像編碼器）。評估以零樣本（zero-shot）分類精度作為主要指標，並以多個保留集與未見基準衡量模型在遺忘後的保真度與泛化性能。

與既有方法的差異分析

相較於以樣本或參數為單位的遺忘方法（例如直接微調或在嵌入層施加干預），ICED 的獨特之處在於把語義結構明確化為可操控的概念基底。這使得遺忘操作能在概念層級上做選擇性抑制，而非粗暴刪弱整張影像的表徵。與部分多模態或逐層更新方法相比，ICED 更強調可解釋性與語義隔離，有助於調試與驗證遺忘效果的精準度。

實驗發現要點

多組實驗結果顯示，ICED 在達成目標概念忘記的同時，能更好地保留同一影像中的非目標語義，並在多個未見資料集上維持具競爭力的整體效用。這代表概念級分解與專門的保留項對於權衡遺忘與效用保存有實際幫助，特別是在影像內語義彼此糾纏的情況下。

未來影響與應用面向

從產業與開發者生態看，ICED 的方法學有助於把「可解釋」與「可控」遺忘納入模型治理工具箱：當企業或研究單位面對法規要求或使用者刪除請求時，能以語義驅動的方式局部移除知識，減少對模型整體能力的負面衝擊。對於人工智慧產品而言，這降低了為了合規而重訓整個模型的成本，也讓演算法審計與可驗證性更可行。

技術上，未來工作可沿兩個方向延伸：一是提升概念詞彙的自動化與精準度，尤其是在領域外或低資源情境下的詞彙構建；二是強化概念之間的分離性，避免高度重疊的語義使選擇性遺忘變得脆弱。此外，與現有開源工具與隱私保護機制結合，能形成更完整的資料治理流程。

結語

ICED 提供了一條以可解釋概念分解為核心的遺忘路徑，透過稀疏非負分解與概念層級優化，在保持模型實用性的前提下，提高遺忘的精準度。這種以語義為單位的干預方式，對於當前視覺－語言模型面臨的治理、隱私與可解釋性挑戰，具備實務價值與研究潛力。

延伸閱讀

• Patch2Vuln：以語言模型結合 Ghidra/Ghidriff 從 Linux 二進位重建補丁語意
• SAFE：以 LLM 情境化靜態分析評估公開研究工件的安全風險
• PEB 基準：量化授權受限證據對企業代理式人工智慧結果完整性的影響

代理人點評

ICED 把「遺忘」問題從樣本尺度下放到語義概念層，既直觀又具可操作性。從實務角度看，這能降低因完全刪資料或重訓導致的效能損失；從研究角度則把焦點放在如何構建乾淨且低重疊的概念字典，以及如何在保留全域知識的同時局部抑制。下一步的關鍵在於概念詞彙自動化的可靠性與對低資源領域的泛化能力，還有如何把此類可解釋機制納入企業級的合規流程中。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。