Gaussian Transformer

深度分析

「Gaussian Transformer」的可達性與漸近穩定性：控制理論分析

本研究以高斯分布為不變流形，將Transformer的資料傳播建模為概率測度上的非線性控制系統，證明高斯分布在自注意力與仿射前饋層下保持不變，並將無限維動力學化簡為均值與協方差的雙線性控制方程。進一步證明在時間變參數下，若目標協方差與初始協方差秩相同，可於有限時間內精確達成。