參數高效微調 (PEFT)

深度分析

TiTok — 基於 token 級對比過量的 LoRA 跨模型移植方法

大型語言模型精調成本高昂，本研究提出TiTok以代替傳統資料依賴的KD方法。TiTok透過源模型帶與不帶LoRA的預測對比，計算token級別的“過量差異”，以挑選合成樣本與關鍵token進行訓練。實驗顯示TiTok在多種轉移場景下整體優於現有方法，提升穩定性與效率。