填充Transformer

深度分析

填充Transformer 表達能力再探：從 AC⁰ 到 TC⁰ 的精度與體積條件

研究探討在多種注意力類型、寬度與統一性下，填充Transformer的計算表達能力。結果顯示只要數值精度達對數級且模型體積≥Ω(logN)，系統對注意力類型與寬度具韌性，表達力受精度與深度主導，常數精度對應L‑uniform AC0，增長精度對應L‑uniform TC0。