符號距離效應

深度分析

單層 Transformer 能自動建立全序列坐標軸：序列幾何與符號距離效應實驗

研究探討Transformer於僅接收相鄰比較時，能否自行形成類似心智數線的序列表徵。透過訓練小型單層模型，觀察嵌入向量在峰值時收斂於一維流形，主成分即重建隱藏序位。結果顯示，即使正確率已達上限，決策信心與幾何距離仍隨排名差距單調提升，呼應長久以來的符號距離效應。