深度分析
吸引子動力學下的幻覺決策:在 Qwen2.5-1.5B 與激活貼補檢視 Transformer 的早期軌跡
本研究以同一提示重複抽樣(same-prompt bifurcation)揭示,自回歸 Transformer 在生成過程中,幻覺並非晚期檢索失誤,而是在第一個生成步就可能發生的「軌跡承諾」。對 Qwen2.5-1.5B 的 61 個提示進行實驗,發現 44.3% 提示會產生分岔,證實了模型在第一個生成步即產生軌跡偏離,且幻覺路徑呈現出比正確路徑更穩定的吸引子盆地特性,使得單步修正難以逆轉錯誤決定。