LARK

深度分析

「LARK」以可學性為基礎的推理軌跡選取提升推理蒸餾效能

本研究聚焦於推理蒸餾的軌跡選取，提出 LARK 以學習率 ρ 為指標，結合 χ² 正則化在固定預算下挑選最易學的樣本。相較於僅看答案正確或模型信心的傳統篩選，LARK 能避免表面優秀卻難以內化的軌跡，實驗顯示在多項基礎模型與數學測驗上提升準確率與收斂速度。