局部傅立葉特徵

深度分析

Transformer 單位擴展：在模組乘法下的局部代數層級與 GCR 機制延伸

本研究探討小型 Transformer 如何在合成模數下學習模組整數乘法，這是一種因零因子而非全域可逆的運算。作者提出「單位擴展」概念，認為模型會將輸入空間劃分為局部代數層級（𝒥‑類），在每個層級內仍保留類群結構，允許應用局部傅立葉特徵與局部逆元。