2024 年大型語言模型偏見評估：性別、種族與年齡差異揭露與去偏矛盾
本研究針對四款 2024 年新發表的大型語言模型（Gemini 1.5 Pro、Llama 3 70B、Claude 3 Opus、GPT‑4o）進行性別、種族與年齡偏見的系統性測試。結果顯示，模型在職業描述上女性出現率比美國勞工統計局資料高出 37%，而在犯罪情境中，性別偏差達 54%、種族偏差 28%、年齡偏差 17%。
研究背景與動機
大型語言模型（LLM）在高風險決策領域的應用日增，偏見問題直接影響其可用性與公信力。為了評估當前主流模型的公平性，研究團隊選取四款於 2024 年推出的領先模型進行系統測試。
測試對象與方法
測試模型包括 Gemini 1.5 Pro、Llama 3 70B、Claude 3 Opus 與 GPT‑4o。研究設計兩大情境：
- 職業情境：比對模型生成的性別分布與美國勞工統計局（BLS）資料。
- 犯罪情境：比對模型在性別、種族與年齡上的描述與美國聯邦調查局（FBI）統計。
主要發現
在職業情境中，模型普遍將女性角色的出現率提升至比 BLS 數據高出約 37%。犯罪情境的偏差更為明顯：性別偏差 54%、種族偏差 28%、年齡偏差 17%。
更值得關注的是，當研究者嘗試透過去偏策略降低性別與種族偏見時，模型往往在某些子類別上過度補償，產生所謂的「去偏矛盾」現象，顯示目前的去偏技術仍有顯著限制。
結論與未來方向
本研究指出大型語言模型在性別、種族與年齡層面的系統性偏見，並揭露現行去偏方法可能引發新的公平性問題。未來需要開發更細緻且具可驗證性的去偏機制，以確保模型在各種應用情境下的可靠與公正。
延伸閱讀
- 大語言模型評估使用者狀態可靠性不足：GPT-4o 與 Gemini 證據揭示風險
- 數位人格與檢索擴充：大型語言模型模擬問卷受訪者的可行性與限制
- 局部校準與貝氏修正：化解隱層統計異質性以提升機器生成文本檢測效能
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
