大型語言模型在衝突資訊上的幻覺與生成式引擎優化(GEO)分析
研究針對 28 場衝突向五大 AI 問答引擎提出 5,460 個問題,將回覆與已知事實比對。結果顯示,當可查證的資料稀薄時,模型更容易捏造、錯置或錯算資訊,且這類薄弱記錄容易被生成式引擎優化(GEO)操控,成為錯訊與假訊的溫床。分析 1,048 個來源網站後發現,GEO 已在實務中運作,且國家或黨派的數位介入正快速擴散。
研究動機與方法
AI 問答引擎在和平與衝突議題的詢問中佔比日增,然而大型語言模型在特定條件下會產生幻覺。研究團隊針對 28 場衝突向五個領先的回答引擎提交 5,460 個問題,並以已記錄的證據比對其答案。
主要發現
結果顯示,當可取得的衝突記錄越少,模型越傾向捏造、錯置或錯算資訊。稀薄的記錄不只誘發幻覺,更形成結構性錯訊與假訊的風險,因為這類記錄最易被生成式引擎優化(GEO)扭曲回應。
進一步分析 1,048 個 AI 所引用的網站,發現 GEO 已在實務中出現,且雖然國家或黨派的數位掌控仍處於萌芽階段,但增長速度相當快。
影響與建議
研究指出,GEO 可能成為新興的資訊戰工具,對學術研究與政策制定構成挑戰。作者主張,應回歸深度在地監測與以翻譯為基礎的研究方式,因為這些方法仍是 AI 難以取代的資訊來源。
最後,文章呼籲未來研究持續追蹤生成式引擎在衝突資訊環境中的演變,並探索防範錯訊的技術與制度方案。
延伸閱讀
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。