門檻閘門 (Threshold Gating) 成為神經網路新通用原語

研究顯示，神經網路的非線性不必只能依賴傳統激活函式，透過輸入條件化的門檻閘門 (Threshold Gating, TG) 也能達成相同功能，讓模型仍具通用逼近能力。

TG 與現有激活函式的關係

作者證明，常見的激活函式——包括分段線性的 ReLU、PReLU、Hardtanh，以及平滑的 SiLU、Sigmoid、Tanh、GELU——皆可視為 TG 的特例。對於 Softmax，亦可透過等價的逐元素 Sigmoid 形式，精確轉換為 TG。

跨模型驗證與效能保持

研究團隊將預訓練的卷積神經網路、Transformer 以及循環架構的模型，全部以 TG 取代原有激活函式，結果顯示模型表現與原始相同，且不需重新訓練。

從頭訓練的優勢

使用 TG 從頭訓練模型時，除了能直接取代既有激活，還觀測到模型壓縮、效能提升與訓練時間縮短的額外好處。

硬體實作的潛力

在類比記憶體系統中，TG 可統一實作，降低模擬/數位轉換器 (ADC/DAC) 的功耗與晶片佔用面積，緩解長期的硬體瓶頸。

最小分支定理

作者提出「最小分支定理」，說明 TG 所需的最少分支數量與深度神經網路可訓練性的關聯，為理論分析提供新視角。

延伸閱讀

• AdaFocus：查詢驅動自適應相關-多樣取樣（AdaRD）與零快取回溯提升長影片理解
• XiYOLO：以能耗感知神經架構搜尋（XiResOFA）建立邊緣裝置節能物件偵測家族
• EULER-ADAS：結合有界 Posit 與階段化對數乘法的低耗可靠 ADAS 加速器設計

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。