Transformer 微調

深度分析

跨層控制式微調（MoC）在大型 Transformer 上的效能與記憶優化

隨著大型語言模型微調成本高漲，研究提出以控制理論為基礎的Mixture‑of‑Control（MoC）框架，將每層的低階控制視為專家，透過稀疏門機制在全模型層間傳遞全域訊號，同時保留區塊本地調整。實驗在多項NLU與NLG基準上皆超越既有的狀態式與參數有效微調方法，且記憶與計算開銷與LoRA等方案。