視覺語言模型安全

深度分析

CLIP-Inspector：針對 Prompt 調校的 CLIP 模型層後門偵測與修復

隨著企業委外模型訓練，惡意供應商可在 Prompt‑調校 CLIP 時植入後門。CLIP-Inspector 透過 OOD 觸發逆向重建與白盒存取，偵測模型是否含後門，實驗顯示其偵測準確率 94% 且 AUROC 0.973，並能用重建觸發器修復模型。