Transformer-pruning

深度分析

TALE 任務感知層級剪枝：透過修正表示幾何提升 OOD 穩健性

本研究探討以任務感知層級剪枝改善模型在分佈偏移下的表現。作者在可控回歸實驗與大型語言模型上觀察到，OOD 輸入會改變層級表示的範數與成對距離，某些層會放大這些失真。移除被選中的層能使 OOD 表徵向訓練時的幾何靠攏，從而提升 OOD 準確度。結果在多數移位基準上可觀察到穩定改善。