預訓練語言模型讓知識圖譜實體向量更泛化：鏈結預測與跨任務遷移表現提升
知識圖譜常有缺漏,研究用文字描述學習實體向量以支援鏈結推斷與檢索。採用預訓練語言模型以鏈結預測目標學習向量表徵,並在未見實體的誘導式鏈結預測、實體分類與實體導向檢索三項任務上驗證泛化能力。結果顯示鏈結預測MRR平均提升22%,分類準確度平均增16%,檢索NDCG@10最高增8.8%。
重點速覽
研究發現：以預訓練語言模型為基底、用鏈結預測目標學到的實體向量，在未見實體上仍能有顯著泛化與跨任務表現。
方法與驗證
研究團隊利用知識圖譜中可得的文字描述，以預訓練語言模型學習實體表示，訓練目標為鏈結預測。為評估泛化能力，特別測試誘導式（inductive）鏈結預測，即處理訓練時未見的實體，並延伸到實體分類與實體導向的資訊檢索任務，覆蓋不同應用面向。
主要發現與意義
結果指出該架構在鏈結預測上平均帶來約22% MRR提升；在實體分類任務上，與使用預訓練模型的基線相比，平均準確度提升約16%；在自然語言查詢的實體檢索上，NDCG@10最高提升約8.8%。這表示透過語言模型學到的向量，不僅能改善KG內部推斷，也可在不大量重訓的情況下轉移到其他下游任務，對於需要跨場景重複使用表示的應用具有實務價值。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
