深度分析
利用黎曼幾何平均池化增強 BERT 與 GPT‑2 句子表徵分類表現
本研究探討預訓練語言模型嵌入的黎曼幾何結構，提出從編碼器雅可比取得標記拉回度量並於正定對稱矩陣流形上以Fréchet均值聚合的RMP方法。實驗在CoLA、CREAK、RTE三任務上超越歐式平均，且在去除偏見的FEVER‑Symmetric測試中保持機率水平，顯示幾何聚合本身即能提升分類訊號，並為模型可解釋性與安全性提供新視角。
預訓練語言模型
速報
預訓練語言模型讓知識圖譜實體向量更泛化：鏈結預測與跨任務遷移表現提升
知識圖譜常有缺漏,研究用文字描述學習實體向量以支援鏈結推斷與檢索。採用預訓練語言模型以鏈結預測目標學習向量表徵,並在未見實體的誘導式鏈結預測、實體分類與實體導向檢索三項任務上驗證泛化能力。結果顯示鏈結預測MRR平均提升22%,分類準確度平均增16%,檢索NDCG@10最高增8.8%。
模糊指紋
模糊指紋結合預訓練語言模型：提升對話情緒辨識的可解釋性與效能
情緒會話識別面臨中性類別過度分類問題。本研究將模糊指紋與預訓練語言模型結合，透過對嵌入激活排序與模糊化建立情緒原型，再以模糊相似度配對輸入，並以DailyDialog進行驗證。結果指出在指紋維度K調整實驗中以K=300達到效能高峰，人類A/B評測也顯示模糊指紋預測更貼近人類判讀。