CLIP 嵌入

深度分析

CLIP 嵌入與填充向量導致 Stable Diffusion 記憶復現的機制分析

這篇研究指出，Stable Diffusion在復現訓練集影像的「記憶復現」問題，與CLIP文字編碼的嵌入結構有密切關聯。作者發現，模型並非過度依賴 prompt 的逐字嵌入，而是被填充（pad）位置的一組近乎重複的〈eot〉嵌入放大影響，進而驅動精確重現。