PEFT

深度分析

LoRA 縮放因子 α 的核心角色：從光譜抑制到 Signal‑Drift 理論與 LoRA‑α 實驗驗證

隨著大模型快速發展，參數有效微調方法LoRA成為焦點。研究發現LoRA的縮放因子α與學習率η角色不同，α能在不增加漂移比例的情況下放大任務訊號，提升收斂速度與效能。實驗證明，採用平方根法則調整α可顯著優於傳統設定。此方法在184M至12B的模型、自然語言、推理與多模態任務上均展現穩定增益。