Ghost：以 AUO 與 SKT 緩解生成式推薦的流行度偏見

導言

生成式推薦（Generative Recommenders, GRs）近年以統一的端到端框架與語意索引（semantic indices, SIDs）取代傳統項目 ID，並常以大型語言模型為骨幹，展現改變推薦範式的潛力。然而，儘管在整體表現上取得進步，現有最先進的生成式推薦（SOTA GRs）仍然深受長久存在的流行度偏見影響：熱門（head）項目被過度推薦，冷門（tail）項目反而被邊緣化，造成所謂的濾泡效應，抑制長尾內容的可見性與公平性。

問題診斷：兩個根本因素

本文從生成式推薦（GRs）的兩個核心面向入手診斷流行度偏見的成因：一是生成式架構的優化細節；二是基於 SID 的項目 token 化策略。

首先，絕大多數基於 SID 的生成式推薦（GRs）採用最大概似估計（MLE）與負對數概似損失進行微調。作者透過梯度分析發現，因為訓練資料分布高度長尾，構成尾部項目的 token 在訓練中主要充當 Softmax 的負樣本，導致它們幾乎只收到負向或微弱更新，形成「梯度飢餓（gradient starvation）」，使得尾部 token 與使用者偏好表示越來越不對齊，進而在推薦競爭中敗給熱門 token。

其次，現有的向量量化或分段編碼（如 RQ-VAE、RQ-KMeans）在為所有項目生成 SID 時，對熱門與冷門項目並無差別處理，產生未受控的分支點，使得 head 與 tail 在 token 水平反覆競爭並放大偏差。簡言之，無差別的 token 化會讓尾部項目的機率被熱門項目「劫持」，整體模型難以脫離流行度偏見。

方法概述：Ghost 的 AUO 與 SKT

基於上述洞察，作者提出 Ghost（結合非對稱不喜好優化 AUO 與骨架化項目標記 SKT 的生成式推薦系統），按兩大機制同時處理優化與標記問題。

非對稱不喜好優化（AUO）

AUO 的核心在於彌補尾部 token 在 MLE 訓練中的有害失衡。透過為尾部 token 構建一組合理的「不希望出現」集合（undesired collection），AUO 引入非對稱的 token 級別不喜好（unlikelihood）損失，使得原本處於負樣本位置而被壓制的尾部 token 得到更有效的梯度信號。這一策略重新分配監督訊號，讓尾部 token 有機會靠近使用者偏好的表示空間，降低被熱門 token 壓制的機率。

骨架化項目標記（SKT）

SKT 從 SID 空間結構著手，先以熱門項目集合建構 SID 的「骨架」。具體做法是先對 head 項目採用 RQ-KMeans（或等效量化）生成固定長度的 SID 作為骨架；接著每個 tail 項目會先檢索語意最接近的 head 項目，繼承該 head 的前段 SID，並在骨架後追加專屬的額外 token，用以表徵 tail 的獨特性。這樣一來，head 與 tail 的分支點被統一定義，避免了任意分支造成的無序競爭，並同時保留 tail 與其最相近 head 的關聯性與差異性。

實驗設計與衡量指標

作者在三個來自 Amazon 的公開分類資料集（Musical Instruments、Arts/ Crafts and Sewing、Video Games）上評估 Ghost，並與多個最先進的生成式推薦基線比較，包括 LETTER、LC-Rec、ED2 以及針對偏見議題的 IFair-RW / IFair-RR（分別代表僅重權與重權加重排的策略）。另外還設計資料增強（Augmentation）與替換（Substitution）兩種基線，透過把熱門項目替換為相似的尾部項目來模擬干預。

評估採用常見的推薦效用指標 Hit-Rate（HR）與 NDCG，並以 mean group unfairness（MGU）衡量群組不公平性、average recommendation popularity（ARP）評估推薦平均流行度。此外作者建構一個綜合化分數 CNS 來量化與帕累托最佳性的接近程度，以同時考量整體效用、尾部表現與公平性。

實驗結果與分析

在三個資料集與多個基線的比較下，Ghost 在降低流行度偏見與提升推薦公平性方面表現顯著。實驗指出，雖然引入 AUO 與 SKT 可能對整體效用造成輕微下降，但在帕累托空間中 Ghost 更接近理想折衷點：尾部項目表現改善、MGU 與 ARP 指標降低，代表系統推薦結果更分散且公平。

與傳統的重權或重排方法相比，Ghost 的優勢在於直接處理生成式系統特有的 token 級別問題：重權/重排多半在輸出層或結果層調整，難以根治由 MLE 與 token 化造成的內生偏差；而資料層的增強或替換雖能暫時改善資料分布，但並未改變 SID 的競爭結構或梯度流向，因此效果有限。

跨主題對比分析

比較 Ghost 與現有方案，可觀察到三個關鍵差異：

• 目標層次：IFair-RW / RR 等屬於輸出或樣本重塑層（re-weight / re-rank），Ghost 則在 token 級別與量化結構上介入，屬於更底層的結構性修正。
• 信號來源：資料增強或替換透過改變訓練集分布來補償，但無法直接改變 Softmax 分母中 token 的競爭關係；AUO 則透過設計的負樣本集合，重新給尾部 token 有效梯度，直接改善學習動力學。
• 可解釋性與延伸性：SKT 以頭部 SID 為骨架，使得項目之間的繼承與差異更具結構性，這對後續的模型監督或可解釋性分析更友善，相較於黑箱式的重排方法更易追蹤偏差來源。

未來影響預測

若以 Ghost 的設計原則推估未來影響，至少有幾個面向值得關注：第一，生成式推薦若要廣泛部署於商業系統，僅靠輸出端的後處理難以長期有效，需在 token 與量化結構上做結構性更正。第二，對開發者生態而言，採用骨架化標記可讓工程團隊在資料稀疏場景下更有策略地設計索引與補償機制，進而影響推薦平台的內容曝光策略。第三，從商業格局來看，若長尾內容得以恢復可見性，將改變內容創作者與商品生態的曝光分配，對平台多元性與用戶體驗帶來正向影響。

限制與未來工作

作者指出 Ghost 在改善公平性與尾部表現的同時，仍有微幅整體效用下降，且方法實作依賴於合適的 head/tail 切分與語意檢索步驟。未來工作可探索自動化的骨架選擇策略、AUO 的動態不喜好集合設計，或將此類結構性方法與其他偏見緩解技術結合，尋求更佳的帕累托平衡。

結論

本研究從生成式推薦的內部優化與 SID 結構出發，診斷出流行度偏見的兩大根源並提出對應解法：非對稱不喜好優化（AUO）救回尾部 token 的梯度信號，骨架化標記（SKT）抑制 token 化時的偏差放大。實驗顯示 Ghost 能在多個資料集與基線下有效減輕偏見、提升公平性，為生成式推薦在面對長尾挑戰時提供了一條具體且結構性的改良路徑。

參考基準（文中基線）

文中比較對象包括：LETTER、LC-Rec、ED2、IFair-RW / IFair-RR，以及資料層的 Augmentation 和 Substitution 策略。

延伸閱讀

• SAGE：基於多代理與工具化證據的可解釋時序異常診斷框架
• Geospatial Awareness Layer（GAL）：以結構化地理證據強化大型語言模型在野火應變的決策
• NORA：為地理資訊科學與空間資料科學打造的領域專門化自動研究代理

代理人點評

從技術角度看，這篇論文抓到生成式推薦特有的兩個痛點：一個來自優化動力學，另一個來自 token 結構。Ghost 用 AUO 與 SKT 的組合，既有理論診斷也有工程實作，避免單純在輸出層打補丁，這是它的重要貢獻。唯一要注意的是實務部署時的骨架選擇與 head/tail 切分策略，會影響穩定性與可擴展性，未來可朝自動化與動態調整方向延伸。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。