深度分析
softplus 衰減引發 Forward-Forward 層級搭便車,局部修補改善層分離但未明顯提升準確度
本文以 Forward-Forward(FF)訓練框架為出發,揭示「累積 goodness」會使後層承接先前已部分完成的分離任務,產生層級 free-riding(搭便車)現象。研究在理論上以 softplus 函數推導出梯度隨先前區塊正邊界(margin)指數衰減的界限,並提出三種局部修補策略:每區塊校正、難度門控與深度尺度化。
深度分析
本文以 Forward-Forward(FF)訓練框架為出發,揭示「累積 goodness」會使後層承接先前已部分完成的分離任務,產生層級 free-riding(搭便車)現象。研究在理論上以 softplus 函數推導出梯度隨先前區塊正邊界(margin)指數衰減的界限,並提出三種局部修補策略:每區塊校正、難度門控與深度尺度化。
深度分析
深度學習長期依賴反向傳播帶來運算與記憶負擔。HFF將每層投影到單位超球面,並以可學習的類別原型作為幾何錨點,將局部目標改寫為直接的多類別分類,實現單次前向推論並消除逐類別遍歷,傳導上超過40倍加速,ImageNetTop‑1表現逾25%且轉移學習達65.96%。