大型語言模型蒸餾

深度分析

PACED：以通過率加權的前沿學生蒸餾技術

研究聚焦大型語言模型蒸餾效率問題，提出以學生通過率p計算權重w(p)=p(1-p)的PACED方法，於多項數學基準提升最高8.2%且顯著降低遺忘率，同時驗證Beta核權重理論最優，無需額外超參數。