非對比式視覺語言預訓練

深度分析

全非對比式視覺語言預訓練 LeVLJEPA 提升密集特徵表現

近年視覺自監督多採用非對比式目標，但視覺語言預訓練仍以 CLIP 類對比方法為主。研究團隊提出 LeVLJEPA，透過跨模態預測與 SIGReg 正則化，完全不使用負樣本、溫度或動量編碼器。