句子表徵

深度分析

利用黎曼幾何平均池化增強 BERT 與 GPT‑2 句子表徵分類表現

本研究探討預訓練語言模型嵌入的黎曼幾何結構，提出從編碼器雅可比取得標記拉回度量並於正定對稱矩陣流形上以Fréchet均值聚合的RMP方法。實驗在CoLA、CREAK、RTE三任務上超越歐式平均，且在去除偏見的FEVER‑Symmetric測試中保持機率水平，顯示幾何聚合本身即能提升分類訊號，並為模型可解釋性與安全性提供新視角。