LLM 訓練效能

深度分析

GRACE：圖導向動態核心集選取提升大型語言模型訓練效能

大型語言模型訓練成本高，研究者提出動態核心集選取框架 GRACE。它結合表徵多樣性與梯度重要性，利用 k‑NN 圖機制自動更新子集。實驗證明可提升訓練效率與下游效能。