transformer

速報

Transformer在布林函數上的泛化：傅立葉頻譜與PAC-Bayes的低銳利度路徑

研究從傅立葉頻譜角度切入transformer在布林任務的泛化，採用PAC-Bayes方法指出若目標函數頻譜稀疏且集中於低階成分，可構造低銳利度和平坦極小值，並對理想化學習者套用PAC-Bayes界獲得非虛無的泛化界；實驗與機械可解釋性分析支援此理論構想。