DINO-SAE

深度分析

DINO-SAE：以球面黎曼流匹配與方向性對齊提升 DINO 基礎模型的高保真重建

DINO-SAE 將預訓練的 DINO 類視覺基礎模型轉為高保真重建與生成的潛表示器。研究指出對比式表示的語義主要存在於特徵向量方向，因而以餘弦相似度進行方向性對齊，同時以分層卷積 patch embedding 補足 ViT 早期下採樣的高頻資訊。