Transformer 幾何模型

深度分析

RT-Transformer：球面狀態估計視角下的注意力、殘差與正規化統一解釋

研究提出將Transformer的注意力、殘差與正規化統一為球面狀態估計問題。透過在超球面上建模方向與切平面噪聲，注意力成為精度加權的方向聚合，殘差為切平面更新，正規化則將結果重新投射回球面。此幾何觀點預測了注意力精度與向量正規化的改進方向，對未來模型設計具啟示。同時，作者比較了傳統Transformer與基於RT-Filter的變體，顯示在方向置信度表達上更具解釋性。