深度分析 TiTok — 基於 token 級對比過量的 LoRA 跨模型移植方法 大型語言模型精調成本高昂,本研究提出TiTok以代替傳統資料依賴的KD方法。TiTok透過源模型帶與不帶LoRA的預測對比,計算token級別的“過量差異”,以挑選合成樣本與關鍵token進行訓練。實驗顯示TiTok在多種轉移場景下整體優於現有方法,提升穩定性與效率。