CKA 校正

深度分析

「跨架構基質」揭示 13 種視覺編碼器的跨領域幾何不變性

研究發現不同訓練目標的視覺編碼器在最後一層特徵中共享同一個十六維幾何子空間，稱為跨架構基質。該基質在自然、醫療、衛星及顯微影像等四大領域的相似度達0.679，且在八大領域仍保持≥0.40。此發現揭示了視覺模型訓練早期的共通結構，對模型轉移與蒸餾具有實用價值。