局部可塑性學習:VisNet 類層次架構下的無監督視覺表示突破
研究提出一種無監督、無反向傳播的視覺表示系統,採局部可塑性與 VisNet 類層次,整合多頻 Gabor、小波、側向抑制、顯著調變、聯想記憶與回饋;以連續局部可塑性訓練 300 epoch,CIFAR-10 準確度達 80.1%,顯示結構化可塑性能學出強表徵。
局部可塑性下的無監督視覺表示:重點速覽
研究展示一個不靠標註、也不使用反向傳播或全域誤差訊號的視覺表示系統,主要透過連續的局部可塑性規則從影像資料學習表徵。
架構與訓練要點
模型受 VisNet 啟發,輸入採對抗色彩(opponent color),並行處理多頻 Gabor 與小波特徵流;內部有競爭性正規化與側向抑制、顯著性調變、聯想記憶模組與回饋迴路。全部表徵學習都由局部可塑性規則在未標註影像流上進行,訓練長度為 300 個 epoch。
結果與消融發現
評估以固定線性探針在讀出時訓練,系統在 CIFAR-10 與 CIFAR-100 上分別達到 80.1% 與 47.6% 準確度,優於僅有 Hebbian 的基線。消融實驗顯示反 Hebbian 去相關、自由能啟發的可塑性與聯想記憶為主要貢獻者,三者具明顯的協同效果。值得注意的是,即便不進行學習,僅固定架構已在 CIFAR-10 達到 61.4%,說明架構本身帶來誘導偏好,但可塑性仍是主要性能提升來源。
意義與限制
此一工作表明經過精心設計的局部可塑性與結構化模組,能從原始未標註資料學出有用的視覺表徵,並進一步縮小與反向傳播訓練 CNN 之間的差距;但系統並未完全取代反向傳播,仍存在性能差距。
延伸閱讀
- 黎曼幾何視角的幾何解耦:評估潛在擴散模型的 LC、LS 與 PHFE 關聯
- 解析AlphaEarth 64維嵌入:流形曲率、檢索穩健性與代理人式多步推理
- 自監督視覺規劃:以深度預測結合 MILP 校正學習升階動作模型
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。