語言模型幻覺現象：線性關係導致虛構實體生成
研究聚焦於語言模型在面對未知實體時的幻覺問題，特別是線性關係的影響。研究者以合成未知實體基準 SyntHal 測試四種指令微調模型，發現線性關係與模型產生虛構答案的機率高度相關，相關係數介於 0.58 至 0.84。結果顯示，非線性關係較不易引發幻覺，提供未來模型設計的方向。
語言模型的幻覺問題近來受到廣泛關注，尤其在回答類似「格倫·古爾德彈奏哪種樂器？」的問題時，模型常會自行捏造不存在的資訊。研究團隊特別設計了 SyntHal 基準，包含 15 種關係的合成未知實體，測試模型對這類問題的反應。
線性關係與幻覺的關聯假說
研究者提出兩點假說：一是語言模型使用抽象的線性關係表示時，容易為不存在的主體生成看似合理的對象，導致幻覺；二是非線性關係缺乏此機制，較不易產生幻覺。
實驗結果
在四種指令微調模型的測試中，線性關係與模型產生虛構答案的相關係數介於 0.58 至 0.84，顯示線性關係是幻覺的強預測因子。相較之下，模型在非線性關係題目上更傾向拒絕回答，而非捏造。
影響與未來方向
此發現提示未來模型設計可考慮減少線性關係的使用或加強對未知實體的辨識機制，以降低幻覺風險。
延伸閱讀
- 「分岔模型」：以權重綁定動態學習實現集合值解映射與多解發現
- 等變架構改變縮放法則：神經力場（Neural Force Fields）的效能與可擴展性比較
- 次線性神經網路參數化凸集合：單位球映射與支援／規格函數方法
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
