MLP 訓練加速

深度分析

GLAI：透過凍結 ReLU 激活結構實現 MLP 訓練加速約 40%

研究提出 GreenLightningAI（GLAI），一種可替代傳統多層感知器（MLP）的建築模組。核心想法是將訓練過程中較早收斂的「結構知識」（由 ReLU 激活模式決定）固定下來，將原本糾結的結構與數值知識分離；接著把 MLP 重新表述為由若干固定路徑組成的分段線性系統，僅對路徑的數值權重進行優化。