幾何收斂

深度分析

傅立葉特徵與頻譜收斂：語言模型中數字表徵的幾何可分性研究

研究發現語言模型在自然語言預訓練中會出現數字的週期性表示。本文指出透過傅立葉頻譜能看到明顯周期性尖峰，但這些頻譜不保證數字餘數類別可線性分離。實驗顯示資料的共現結構、模型架構、優化器與分詞策略共同決定是否出現可用於模數分類的幾何特徵。這影響數字處理與模型可解釋性的研究方向。