Vocabulary Transfer

深度分析

ModernBERT 在學習型稀疏檢索中的表現瓶頸：詞彙量差距與 Vocabulary Transfer 解決方案

現代 AI 編碼器在稀疏檢索中表現不如舊款模型，主因在於追求無損重建的分詞器造成詞彙冗餘。研究團隊提出詞彙量遷移（VT）框架，利用空間拓撲語義初始化與激活潛能校準，將強大模型遷移至正規化詞彙表。此方法能以極低成本讓 ModernBERT 在 BEIR 基準測試中取得 52.4 nDCG 的頂尖表現，證明詞彙設計是稀疏檢索的關鍵瓶頸。