深度分析
LBR 框架減輕大型語言模型推薦系統長度偏差,提升公平性與準確性
隨著大型語言模型被廣泛用於推薦系統,文字敘述長短差異導致模型在注意力分配與解碼得分上產生偏頗。研究提出LBR框架,透過長度感知注意力校正與資訊長度正規化,減少長短項目不公平影響。實驗顯示在三個Amazon資料集上NDCG@5提升約16.8%,同時提升公平性。
深度分析
隨著大型語言模型被廣泛用於推薦系統,文字敘述長短差異導致模型在注意力分配與解碼得分上產生偏頗。研究提出LBR框架,透過長度感知注意力校正與資訊長度正規化,減少長短項目不公平影響。實驗顯示在三個Amazon資料集上NDCG@5提升約16.8%,同時提升公平性。
深度分析
個人知識圖譜提供隱私友善的偏好建模方式,但從分散式對話資料建構仍具挑戰。本研究提出以輕量大型語言模型抽取RDF三元組,並以Wikidata識別碼對齊,形成可互操作的PKG。實驗顯示,部分模型在抽取精度與下游推薦效能上具比例性優勢。評估使用ReDial對話資料集,Gemma-12B Instruct在精度與召回上領先。
深度分析
隨著深度學習推薦模型追求更長的使用者互動歷史,傳統「FatRow」預先物化方式造成資料冗餘與I/O瓶頸。研究提出版本化延遲物化,將UIH正規化儲存,於訓練時即時重建序列以保證O2O一致性並防止未來洩漏。實驗顯示在多租戶環境下可減少超過四成寫入流量,提升訓練效能,支援序列長度突破十萬事件。
深度分析
隨著基礎模型規模突破兆參數,傳統的標量蒸餾已無法有效傳遞知識。LoopFM透過將歷史嵌入結構化為VM輸入特徵,開啟高頻寬通道,於公開基準提升AUC超過6%,並在產線將轉換率提升最高1.22%。此框架含抽取、壓縮與結構化三階段,無需即時推論,解決特徵落差與頻寬瓶頸。
推薦系統
本文建立一個資訊論化的理論框架,研究使用者與 AI 推薦助理在高維產品空間中的互動設計。使用者透過有成本且有噪音的訊息傳達偏好,AI 根據此訊息以貝氏後驗或經過優化傾斜的取樣分布產生推薦清單,清單大小可調以平衡包含高效用商品的機率與使用者的搜尋成本。