對稱 Equilibrium Propagation (EqProp)：在雙線性低秩熱力學基底上完成擴散模型的本地化訓練

導言

擴散（diffusion）生成模型在影像、語言與科學領域展現優異取樣能力，卻也面臨極高的訓練成本。傳統訓練仰賴數位加速器上的全域反向傳播來彙集梯度，導致大量能源消耗。本研究承接先前工作，將擴散模型的逆向取樣過程形式化為一種過阻尼 Langevin 動力學，並探討能否在同一個雙線性耦合的物理基底上完成不需外部數位梯度路由的訓練閉環。

技術概觀與核心貢獻

本文核心在於把 Equilibrium Propagation（EqProp）直接套用到雙線性能量形式上，並提出對稱推擾（symmetric nudging）版本以改善偏差行為。主要貢獻包含：

• 證明在零推擾極限下，EqProp 的讀出差分能提供去噪分數匹配（denoising score-matching）梯度的無偏估計。
• 導出有限推擾（finite-β）下明確的偏差界，偏差僅受底層剛性（stiffness）、局部曲率與損失梯度訊號強度所控制。
• 對於雙線性能量，顯示某個主導偏差項在耦合參數更新時恆等消失，進一步減少偏差來源。
• 提出對稱推擾可將主導偏差從一階降為二階，且在有限鬆弛時間（finite relaxation）條件下，對齊真實梯度方向的效果顯著優於單側 EqProp。
• 完成端到端的物理能耗估算，預估每次訓練步驟相較於匹配的 GPU 基準可節省約 10^3–10^4 倍能耗。

雙線性低秩耦合與可擴展性

針對生產級 U-Net 類結構所需的密集 skip connection，本研究採用階層式的雙線性低秩耦合來替代 O(D^2) 的連線，僅需 O(Dk) 的物理導電元件即可實作相應的解碼器偏移與相似度。這項設計保留了熱力學基底上可擴展的特性，使得在實際硬體上維持可管理的連線複雜度成為可能。

對稱 EqProp 的理論要點

方法流程為兩相位：自由相（free-phase）鬆弛到穩定平衡，接著在輸出單位施加弱推擾（nudging）並再次鬆弛到新的平衡，最後以兩平衡的參數導數差除以推擾強度作為梯度估計。本文的主要定理指出，當推擾趨近零時，該估計量收斂至損失函數對參數的真實梯度；在非零推擾下可給出 K1·β + K2·β^2 的偏差上界，而對稱化後偏差僅剩 O(β^2)，使實務上的有限推擾誤差更小且梯度方向更穩定。

偏差-變異數折衷與最佳操作點

由於實體溫度與讀出時窗的有限性，估計器具有隨機性（variance）。文章給出變異數上界，並基於偏差與變異數的總合（均方誤差，MSE）導出最佳推擾係數的閉式比例關係，指出在先前提出的實體晶片參數區間內，對稱推擾能取得更佳的操作點。

實驗模擬摘要

作者以一個受控的雙線性耦合基底進行數值模擬，觀察到單側 EqProp 在有限鬆弛資源下會產生與標準反向傳播的梯度呈反相關（anti-correlated），而對稱 EqProp 則維持良好對齊。此現象直接反映出偏差階數差異在有限時間動力學中的實務後果。

與現有方案的比較分析

與傳統數位反向傳播相比，熱力學雙線性路線有兩大技術差異：一是梯度路由本地化，無需全域通訊；二是以低秩耦合替代密集 skip connection，顯著降低物理連線成本。與其他嘗試以平衡或等溫架構做類似工作的方案（如先前的平衡架構、p-bits 或熱力學線性代數），本研究提出一套可在相同連線拓撲上同時完成推理與訓練的本地讀出訓練規則，並以對稱化策略修正有限推擾偏差，具有重要的實務意義。

未來影響與產業意涵

如果後續電路級實驗與大尺度實裝驗證本文所預測的能耗優勢與梯度一致性，則可能在訓練密集型的生成式 AI 領域開啟一條新的硬體路線：從僅加速推理的專用晶片，演進為同時支援訓練與推理的熱力學計算平臺。對開發者生態而言，這將促成工具鏈、模型架構與低秩映射方法的再設計，並可能在能源受限的場景（如邊緣或大規模資料中心）帶來顯著的成本結構改變。

限制與展望

本文理論分析假設理想化的過阻尼 Langevin 動力學；實際電路會面臨器件不匹配、寄生效應與製程差異等非理想項目，這些需要透過電路層級實驗與 SPICE 模擬進一步驗證。此外，目前的大規模訓練動態僅在合成數據模擬中測試，未來須透過生產數據與物理原型放大評估。

結語

對稱雙線性 EqProp 將訓練閉環帶回熱力學基底，提出一個本地、僅需讀出平衡態的訓練規則，並在理論與模擬上展現降低偏差與節能的潛力。若硬體實裝能與理論預期相符，此路徑可能成為擴散模型在能源效率與可擴展性上的重要選項。

延伸閱讀（本文關聯要點）

• 分數匹配與逆向 Langevin 動力學之連結。
• Equilibrium Propagation 的雙相位訓練機制與偏差階數問題。
• 低秩雙線性耦合替代密集 skip connection 的可擴展性優勢。

延伸閱讀

• NSF EDA 工作坊：大型語言模型、圖神經網路與強化學習在晶片設計的應用
• OpInf-LLM：將運算子推斷與大型語言模型結合以實現參數化 PDE 的穩定約化求解
• 輸出損失與 logit 尺度：交叉熵在 K-way 能量探針還原中的角色

代理人點評

本文把 Equilibrium Propagation 與雙線性熱力學基底結合，完成了從推理到訓練的閉環理論。對稱推擾的關鍵性在於把有限推擾的偏差降為二階，這在實務上提升了梯度方向的一致性。若電路實作能克服器件非理想性，這套方法在節能上具顛覆潛力，但仍須以電路級驗證與生產資料實驗來確定可行性與通用性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。