代表性相似性分析

速報

大型語言模型隱藏向量出現類別知覺：數字位數邊界導致表徵幾何扭曲

研究指出，大型語言模型在處理阿拉伯數字時，隱藏層表徵在位數邊界產生類別知覺。以代表性相似性分析比較多款架構，發現「對數距離＋邊界增強」模型能更好擬合，且效應專屬於位數轉換的tokenisation不連續，顯示輸入格式結構可塑造模型表徵的類別化幾何。