Bayesian 優化

深度分析

ReLoRA 以分階正則化提升 LLM LoRA 適配器相容性與效能

隨著大型語言模型持續更新，原有 LoRA 適配器會失效。ReLoRA 透過 Bayesian 優化融合舊適配器與模型演化差異，並以分階正則化快速再訓練。此作法結合適配器與模型演化的知識，提供相容性起點，並以兩階段正則化先快速收斂再精細調整。實驗顯示可將上線時間縮短近 9 倍，精度提升最高 4.6%。