MinMax RNCs

速報

MinMax 迴圈神經級聯（RNC）：以 MinMax 代數抗衡梯度消失的遞迴架構

一組研究提出以MinMax代數實現的新型遞迴結構，旨在避免梯度消失與爆炸。該方法用MinMax運算串連多層神經元以形成迴圈級聯，並能並行或序列化評估。理論上涵蓋所有正規語言且狀態與激活量隨輸入長度均有上界。實驗顯示在合成任務上表現優異，並在127M參數的下壓詞預測任務上取得具競爭力結果。