ReTeX

速報

ReTeX：恢復單一合併模型中任務專家表現的新框架

多任務模型合併常因參數干擾而削弱各任務專家的效能。研究提出 Recover Task eXpert（ReTeX）框架，將合併過程中的參數干擾視為可加性偏移，透過預測這些偏移值來還原單一合併檢查點中的任務專家表現。ReTeX 內建一套基於 SVD 子空間簽名的路由器自由任務辨識器，於推論時選取投影殘差最小的子空間，以辨識目標任務。