深度分析
「貝式準確度」:消除大型語言模型多選題長度偏差的 Bayesian 評分方案
多選題評估常因答案長度造成分數偏差,傳統使用未正規化或長度正規化皆有缺陷。研究發現標準分數偏好較短答案,正規化則過度偏好較長答案。本文提出貝式準確度,以答案長度先驗建模消除線性長度影響,無需額外前向傳播,即作即插即用的評估方式。實驗顯示在多項基準與少樣本設定下,偏差明顯降低。
深度分析
多選題評估常因答案長度造成分數偏差,傳統使用未正規化或長度正規化皆有缺陷。研究發現標準分數偏好較短答案,正規化則過度偏好較長答案。本文提出貝式準確度,以答案長度先驗建模消除線性長度影響,無需額外前向傳播,即作即插即用的評估方式。實驗顯示在多項基準與少樣本設定下,偏差明顯降低。
深度分析
隨著大型語言模型被廣泛用於推薦系統,文字敘述長短差異導致模型在注意力分配與解碼得分上產生偏頗。研究提出LBR框架,透過長度感知注意力校正與資訊長度正規化,減少長短項目不公平影響。實驗顯示在三個Amazon資料集上NDCG@5提升約16.8%,同時提升公平性。