大型語言模型隱藏向量出現類別知覺：數字位數邊界導致表徵幾何扭曲
研究指出，大型語言模型在處理阿拉伯數字時，隱藏層表徵在位數邊界產生類別知覺。以代表性相似性分析比較多款架構，發現「對數距離＋邊界增強」模型能更好擬合，且效應專屬於位數轉換的tokenisation不連續，顯示輸入格式結構可塑造模型表徵的類別化幾何。
大型語言模型隱藏層出現「類別知覺」
一項研究發現，當大型語言模型在人工智慧任務中處理阿拉伯數字時，隱藏向量的表徵在位數邊界出現幾何扭曲，呈現出類別化的可辨識性增強。
研究者採用代表性相似性分析（representational similarity analysis），對六款模型跨五種架構進行比較，測試純連續模型與一個將對數距離與邊界增強合併的 CP（categorical perception）加性模型。結果顯示，CP 加性模型在所有被視為主要的層級中，都比純連續模型更能擬合實際的表徵幾何。
該效果具結構性特異性：僅出現在由位數轉換引發的 tokenisation 不連續處（如十位與百位的轉折），在非邊界控制位置與以語詞熱度為分類域的情況下並未觀察到相同現象。研究同時指出兩種不同徵候：一類為可以同時報告分類且表徵幾何扭曲的「經典 CP」，另一類為僅有幾何扭曲但無分類回報的「結構性 CP」。
研究結論強調，輸入格式的結構性不連續本身足以在模型的隱藏表徵中產生類別化的幾何形態，這種現象不必然依賴模型具備明確的語意類別知識。
延伸閱讀
- ciwGAN／fiwGAN 在原始語音中自發產生串接現象：從單詞到多詞的無監督跳躍
- 輸出損失與 logit 尺度：交叉熵在 K-way 能量探針還原中的角色
- 隨機自我穩定化：解析 SGD 噪音對全批次銳度低於 2/η 的抑制機制
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
