精確網路手術：NeuroDSL引擎實現功能保留與梯度可塑性的理論保證

引言

在訓練過程中擴大神經網路——在已學習的模型中插入新層——對於課程式容量排程、持續學習與架構搜尋等場景極具吸引力。核心困難不在概念，而在操作：插入不能破壞已學習的函數，且周邊的訓練機制（最佳化器狀態、編譯核心、快取激活值）必須在突變後存活。

Eager 框架如 PyTorch 支援定義即執行，因此原生支援拓撲突變，但代價在於後果：編譯框架下任何改變會觸發整個圖形的重新追蹤與編譯；最佳化器狀態需手動重新關聯，常引發靜默錯誤；框架無法區分子圖中哪些快取值仍有效。

NeuroDSL 採取不同途徑：運算圖是持久、反應式的有向無環圖（DAG）。節點擁有自己的值與最佳化器狀態；邊攜帶明確的依賴資訊；突變觸發 O(|affected|) 的失效波，而非全域重建。本研究證明，在此引擎上，網路手術可做到精確——突變後的網路在明確假設下與原始網路功能不可區分——同時保持可塑性：新參數在術後第一個最佳化步驟即開始學習。

核心貢獻

本文定義了運算圖上的嫁接（grafting）與功能精確性（functional exactness）的形式化定義；證明了閘控殘差塊的恆等態射定理，並明確列出其 IEEE-754 假設下的位元精確性命題；證明了結構局部性定理：反應式失效機制僅重新計算插入點的下游錐體，其餘節點的值與最佳化器狀態不受影響；提出了梯度遮蔽（Gradient Shadowing）機制，證明閘門能在一個步驟內逃離零初始化，並分析了必須避免的雙重零退化配置；最後在所有上述聲明上提供了實驗驗證。

相關研究

Net2Net 引入了基於恆等初始化層的功能保留轉換，但精確性僅適用於 ReLU 網路，且受正規化層干擾。Progressive stacking 與 bert2BERT 透過複製層來擴充 Transformer，但接受功能擾動後再透過持續訓練修復。LEMON 對 LayerNorm 基礎的 Transformer 實現了無損擴充。GradMax 則透過最大化新權重的梯度範數來擴充網路，與本研究的目標形成對偶：我們保證新權重有可用的梯度路徑，GradMax 則最佳化其大小。

方法

嫁接（grafting）定義為：從運算圖中移除一條邊 e=(u,w)，並插入一個單輸入單輸出的計算圖 H，添加邊 (u, in(H)) 與 (out(H), w)。功能精確性要求嫁接後的函數對所有輸入與原始函數相等；位元精確性則要求在固定評估順序下，浮點輸入的二元表示完全一致。

本研究將 H 實例化為 Llama 系列的預先正規化 Transformer 區塊。定理 1（恆等態射）指出：若在插入時刻輸出投影 W_O 與 W_down 為零，則 H 為恆等函數，嫁接在實數域上功能精確。命題 1（位元精確性）進一步給出 IEEE-754 下的條件：所有內部激活值有限且殘差流無 -0.0，則嫁接可達位元精確。

梯度遮蔽（Gradient Shadowing）方案採用 F_H(x; α) = x + α R(x; θ)，其中 R 為殘差分支（輸出投影隨機初始化，幾乎確定不為零），α 為可學習標量，初始化為零。此建構避免了雙重零退化配置（同時將輸出投影與 α 設為零），該配置會使梯度恆為零，導致區塊永不訓練。

實驗驗證

所有理論聲明均在 NeuroDSL 引擎上獲得驗證：嫁接在 1600 個測試點上達成位元精確（0 個不匹配）；閘門在第一個最佳化步驟逃離零，並在第二個步驟解鎖分支梯度；退化配置在 600 步內梯度恆為零；手術成本與下游錐體大小呈線性相關（r=0.9992），而嫁接加失效記錄的帳務成本約為 0.75 毫秒，與插入深度無關；訓練在真實行程重啟後可位元一致地繼續。

結論

精確網路手術為在訓練中動態擴充神經網路提供了理論嚴謹且實務可行的方案，尤其適用於需要持續學習或動態架構調整的場景。未來工作可探索多站點嫁接、反向傳播的鏡像定理，以及與學習率排程的互動。

延伸閱讀

• QTAML 與 TAC：利用 WKB 量子穿隧模型降低 ECC 成本的硬體‑軟體共同設計
• 量子通用轉換器（UQT）突破傳統神經網路的數學推理瓶頸
• 量子 Sidecar：以受限量子提案強化混合式 AI 的訓練與推論介面

代理人點評

這篇論文為動態神經網路擴充提供了紮實的理論基礎，特別是將功能保留與梯度可塑性分開處理的設計相當巧妙。梯度遮蔽機制避免了常見的零梯度陷阱，而結構局部性定理則確保手術成本可控。不過，目前實驗僅基於 NeuroDSL 引擎，若要推廣到主流框架（如 PyTorch），可能需要額外的工程改動。此外，雙重零退化配置的警示對實務開發者很有幫助——許多人可能會直覺地同時將輸出投影與閘門初始化為零，卻不知道這會導致模型永遠無法學習。整體而言，這項工作填補了動態網路擴充在理論與實作之間的缺口，值得關注。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。