自監督表徵學習

深度分析

最小化表徵崩潰模型：挫折樣本、停止梯度與動態分析

自監督表徵學習常因嵌入向量收斂而失去區分能力。研究提出最小化嵌入模型，分析挫折樣本如何透過緩慢時間尺度導致崩潰，並證明加入共享投射頭與停止梯度可防止此現象，實驗顯示理論在更廣泛模型中仍成立。