控制器

速報

PACE：優化語言模型迭代平均的輕量控制器

許多大型語言模型在訓練結束後會使用指數移動平均（EMA）作為最終權重，而非最後一次迭代的參數。針對這一慣例，研究者將迭代平均的最佳化問題建模為連續時間隨機二次控制問題，推導出一套在干預成本限制下最小化平均誤差的控制策略。