開放權重大型語言模型在 AI 治理中的地理偏誤測試

本研究針對四款開放權重前沿大型語言模型,使用 Harvard Dataverse 於 2026 年發布的全球 AI 資料庫(GAID v2)進行基準測試。選取 18 項指標,涵蓋 IEEE IRAI 2026 框架的八大主題,產生近 3,000 筆國家‑指標‑年份觀測資料(2010‑2023)。

開放大型語言模型地理偏誤

大型語言模型(LLM)正被各國與國際組織用於人工智慧治理分析,但訓練資料中對部分國家的代表性不足,導致回應精準度下降,形成所謂的地理偏誤。

研究方法與資料

本研究以 Harvard Dataverse 於 2026 年上線的 Global AI Dataset v2(GAID v2)作為驗證基礎,該資料庫收錄 227 個國家、24,453 筆指標。從中挑選 18 項指標,對應 IEEE IRAI 2026 框架的八大主題,產生約 2,990 筆國家‑指標‑年份觀測,涵蓋 2010 至 2023 年六個評估年度。

模型與回應分類

測試四款開放權重的前沿語言模型,回應以五類方案分類:(a) 驗證正確(VA),(b) 捏造(HF),(c) 誠實拒絕(HR),(d) 含糊保留(QH),(e) 錯誤歸因(MF)。此分類可區分模型自信捏造與坦承不確定的差異。

統計分析

使用混合效應邏輯迴歸與差分‑差分(DiD)方法,估算不同國家間的準確度差異。結果顯示,訓練資料中較少出現的國家,其模型回應的驗證正確率顯著低於資料豐富的國家,同時捏造比例亦較高。

結論與影響

研究證實開放權重模型仍受地理偏誤限制,且在資訊不足時傾向捏造而非坦承不確定,對於以 LLM 為基礎的 AI 治理決策構成風險。未來需加強資料多樣性與回應可信度機制,才能在全球層面安全應用。

延伸閱讀

原始來源:ArXiv AI


系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。

Read more