交叉注意力稀疏化

深度分析

SPACE：透過交叉注意力稀疏化提升大型擴散模型的概念抹除

面對擴散模型在訓練資料中可能帶入的版權與露骨內容風險，本文提出SPACE，一種在交叉注意力權重上以封閉式迭代更新結合L1稀疏化的概念抹除方法，藉由將概念映射集中到低維重要參數子空間來移除目標概念。實驗指出此法在大型模型上改善抹除效能並大幅減少修改後權重的儲存需求。