人工智慧標註的共識陷阱：重審Ground Truth與多元標註基礎建設

人工智慧標註的共識陷阱

系統性文獻回顧指出，將「真實標籤」視為單一正解的做法正面臨根本性挑戰。研究發現這種共識範式把人類分歧當成技術噪訊而非重要訊號。

作者檢視2020至2025年間ACL、AIES、CHI、CSCW、EAAMO、FAccT與NeurIPS等論文，對346篇文章做反思性主題分析，發現三大問題：位置可見性不足、向「人為驗證者」的架構轉移、以及模型中介標註導致的錨定偏誤。這些機制逐步把人工標註者從回饋迴路中剔除，且地理霸權傾向把西方規範當作普世標準，脆弱標註者為了求生常選擇迎合委託方。

針對把多元意見誤判為統計噪訊的「噪聲感測器」謬誤，作者主張應把分歧視為高保真訊號，並提出建構多元標註基礎建設的路線圖，將目標從尋找單一正解改為繪製人類經驗的多樣性圖譜，以強化模型的文化適配與標註正當性。

延伸閱讀

• 多重校準對抗共變數偏移：在不完美分類器下維持無偏盛行率估計
• Human Label Variation (HLV)：把人類多元標註還給模型
• 口述信心作為路由訊號：評估小型語言模型串聯系統在教育測驗中的準確度、成本與延遲

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。