注意力頭路由

深度分析

RouteHead：以偽標籤訓練選取注意力頭的查詢導向重排框架

現有以注意力信號做重排的方法，常採用全頭匯總或靜態挑選，容易混入冗餘或受限於資料域。RouteHead 提出一個輕量級路由器，將每個查詢映射到一組最適注意力 head，只對這些被選中的 head 聚合 query→document 注意力以計算相關性分數。