深度分析
層級本地化 Forward‑Forward(DTG‑FF)於 CIFAR‑10、ImageNet‑100 表現分析
研究檢視層級本地化的Forward‑Forward(FF)訓練,提出DTG‑FF改進方案,於CIFAR‑10/100、ImageNet‑100等九項真實資料集達到SOTA,卻仍比同架構的反向傳播低2‑6個百分點,顯示在高類別與高解析度下的效能天花板。
深度分析
研究檢視層級本地化的Forward‑Forward(FF)訓練,提出DTG‑FF改進方案,於CIFAR‑10/100、ImageNet‑100等九項真實資料集達到SOTA,卻仍比同架構的反向傳播低2‑6個百分點,顯示在高類別與高解析度下的效能天花板。
深度分析
本文以 Forward-Forward(FF)訓練框架為出發,揭示「累積 goodness」會使後層承接先前已部分完成的分離任務,產生層級 free-riding(搭便車)現象。研究在理論上以 softplus 函數推導出梯度隨先前區塊正邊界(margin)指數衰減的界限,並提出三種局部修補策略:每區塊校正、難度門控與深度尺度化。
深度分析
深度學習長期依賴反向傳播帶來運算與記憶負擔。HFF將每層投影到單位超球面,並以可學習的類別原型作為幾何錨點,將局部目標改寫為直接的多類別分類,實現單次前向推論並消除逐類別遍歷,傳導上超過40倍加速,ImageNetTop‑1表現逾25%且轉移學習達65.96%。