PLURAL:首個跨國價值導向大語言模型偏好資料集
大型語言模型在全球廣泛使用,但過度反映西方價值,限制了其對多元文化的代表性。研究團隊基於 Integrated Values Survey(涵蓋 92 個國家)打造 PLURAL,透過兩階段生成流程,將調查回應轉換成約 50 萬筆合成偏好三元組,保留原始價值訊號且呈現真實情境。
背景
大型語言模型(LLM)在全球應用廣泛,但其輸出往往受到西方價值觀的主導,難以完整呈現多元文化的價值取向。
PLURAL 資料集建置
研究團隊以 Integrated Values Survey(IVS)為基礎,該調查涵蓋 92 個國家,具備國家代表性。透過兩階段生成管線,將受訪者的調查回應轉換為合成的偏好三元組(preference triplets),同時保留原始的價值訊號並產出符合實際情境的敘事。
初版 PLURAL 包含約 500,000 筆偏好三元組,代表 20 個文化多樣的國家。
評估結果
研究以三種方式驗證 PLURAL 的效用:
- 資料層級驗證:證實 PLURAL 能夠保留跨國價值差異與國內多樣性。
- 自動化評估:在訓練 LLM 時加入 PLURAL,與強基線比較,平均絕對誤差降低最高 27.7%。
- 盲測人類評估:在印度、巴西與日本共 176 位評審判斷,PLURAL 對齊的回應被視為更能代表各自國家的價值。
意義與未來
結果顯示 PLURAL 含有可供模型學習的價值訊號,為實現多元文化對齊提供可擴展的資源。研究團隊已於 Hugging Face 公開資料集,供後續研究與應用使用。
延伸閱讀
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。