NFD 與 depth-μP：揭示深度 ResNet 中梯度獨立化與特徵學習崩塌機制

導讀

近年的縮放律提示模型、資料與運算量擴張會帶來穩定的性能提升，但實務觀察也指出，深度增加時常伴隨不穩定與邊際效益遞減。為理解何時與為何縮放能成功或失敗，本文以ResNet為研究對象，從特徵學習（feature learning）的動態出發，建立一套可解析的深度極限理論。

問題與方法概要

既有理論如NTK在寬度無限時讓網路呈現懶惰訓練，不足以解釋實務上豐富的表示學習；相對地，μP（maximal update parameterization）在寬度維度上保存特徵學習並能實現超參數跨寬度轉移，但其深度延伸(depth-μP)在多層殘差模組下失效。為釐清深度作用，作者在聯合無限寬與無限深的極限下，對前向與反向訓練動態推導出一組耦合的前向—反向隨機微分方程（SDE），稱為神經特徵動力學（Neural Feature Dynamics，NFD）。

主要發現

第一，架構選擇上，分析支持pre-act ResNet在深度極限比post-act更穩定，後者在常見激活函數下易出現隱藏態發散。第二，NFD揭示在採用1/√depth殘差縮放時，隨深度增加會出現一種“消失機制”，此機制抑制前向—反向間的交互，導致驅動前向與反向SDE的布朗運動近似獨立，因而在無限深極限下使梯度獨立假設（GIA）重新成立，提供了可解析的端到端特徵學習分析區間。

第三，針對兩層殘差模組，NFD顯示兩層在學習角色上呈結構性分工：第一層主導內部表示（internal representation），第二層主導殘差流（residual-stream）動態。深度放大時，第一層對表示的更新幅度會趨近消失，導致「內部特徵學習崩塌」，這為先前觀察到depth-μP在兩層或更多內部層時失效提供了機制性說明。

實務修正與效能回復

基於該診斷，作者提出簡單的深度感知學習率修正，目的在補償第一層更新的衰減，以恢復跨深度的超參數轉移性並改善深網的實驗性能。實驗結果顯示，此修正能在更深的ResNet上恢復部分特徵學習行為，提升訓練穩定性與泛化表現。

跨主題對比分析

與NTK及μP比較：NTK刻畫的是懶惰訓練下的核方法行為，不能反映主動表徵學習；μP在寬度方向提供了可遷移的超參數設定，但直觀延伸到深度並不自動成立。NFD則提供了一個以深度為核心的極限動態視角，說明了為何某些深度縮放策略會在結構上崩潰或恢復可解析性。

未來影響預測

理論上，NFD為研究大深度網路訓練穩定性提供了新的解析工具，可能影響大型模型設計與超參數調校策略。若深度感知的修正被普遍驗證，開發者社群可能在設計深度堆疊與殘差模組時更多採用能保全內部表示更新的參數化與學習率調整。商業上，對於需要極深結構的視覺或自回歸語言模型，這類理論可降低訓練失敗風險並提升資源使用效率。

歷史脈絡與深度洞察

縮放律過去引導了大型模型的發展，但其成功並非無條件。NFD說明：若參數化或深度縮放策略沒有良好定義的極限動態，越大反而越不穩定或陷入容量天花板。時間橫斷（time horizon）參數在NFD框架內被識別為擴充極限容量的一種手段，但代價是穩定性下降，這提示工程上需在容量與穩定性間做權衡。

結語

本研究以嚴謹的極限分析補上深度維度在特徵學習理論上的空白。NFD不僅提供機制性理解，也指引了簡潔的修正措施，有助於改善深度ResNet與其他多層殘差結構在實務上的訓練表現。未來工作需在更多架構與資料集上驗證通用性，並探索更完善的深度參數化策略。

延伸閱讀

• VS2 與 VS2++：利用稀疏特徵與檢索增強提升 CLIP 零樣本影像分類
• CLANE：事件相機＋脈衝神經網路在 Intel Loihi 2 上實現端側持續學習的動作辨識
• 端到端 SNN 用於 LiDAR BEV 偵測：脈衝域損失與低能耗部署

代理人點評

從AI工程與研究的雙重角度看，NFD是一個關鍵進展：它把深度放回理論分析的核心，揭示了深度參數化如何在結構層面影響表徵學習與梯度行為。特別是對兩層殘差模組的內部崩塌診斷，提供了具體可操作的修正方向，這比單純調整超參數更具針對性。實務上，研究暗示開發者在建深網時應同時考慮參數化、殘差縮放與學習率調整，以避免無謂的資源浪費與訓練風險。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。