深度分析
「跨架構基質」揭示 13 種視覺編碼器的跨領域幾何不變性
研究發現不同訓練目標的視覺編碼器在最後一層特徵中共享同一個十六維幾何子空間,稱為跨架構基質。該基質在自然、醫療、衛星及顯微影像等四大領域的相似度達0.679,且在八大領域仍保持≥0.40。此發現揭示了視覺模型訓練早期的共通結構,對模型轉移與蒸餾具有實用價值。
深度分析
研究發現不同訓練目標的視覺編碼器在最後一層特徵中共享同一個十六維幾何子空間,稱為跨架構基質。該基質在自然、醫療、衛星及顯微影像等四大領域的相似度達0.679,且在八大領域仍保持≥0.40。此發現揭示了視覺模型訓練早期的共通結構,對模型轉移與蒸餾具有實用價值。
深度分析
研究檢視當具明確二維結構的任務被平坦化為一維序列時,是否增加表徵負擔。作者比較純文字序列化與將內容以任務忠實的二維版面呈現的視覺路徑,並在矩陣轉置、生命遊戲與LU分解上測試。結果顯示保留二維版面常顯著優於序列化,且尺寸放大時差距擴大。此現象作者稱為序列化摩擦。