深度分析
ReLoRA 以分階正則化提升 LLM LoRA 適配器相容性與效能
隨著大型語言模型持續更新，原有 LoRA 適配器會失效。ReLoRA 透過 Bayesian 優化融合舊適配器與模型演化差異，並以分階正則化快速再訓練。此作法結合適配器與模型演化的知識，提供相容性起點，並以兩階段正則化先快速收斂再精細調整。實驗顯示可將上線時間縮短近 9 倍，精度提升最高 4.6%。
LoRA 適配器
深度分析
AFM 架構解析：Apple 的 decoder-only Transformer、適配器（LoRA）與 Private Cloud Compute
Apple發布AFM基礎語言模型，包含可在裝置執行的約3億參數等級型與供PrivateCloudCompute的伺服器模型。模型採Transformer解碼器、RoPE長序列、GQA與SwiGLU等效能優化，並以LoRA適配器實現任務專化。強調隱私優先與責任AI，調整本機效能與私有雲推論的權衡。
深度分析
可分離專家架構（SEA）：以可組合 LoRA 與可刪除使用者代理實現 LLM 個人化與刪除驗證
隨著大型語言模型個人化需求提升，傳統微調會將使用者資料寫入共用權重，導致刪除困難。研究提出可分離專家架構（SEA），結合靜態基礎模型、可組合LoRA專家與可刪除的使用者代理，實現即刪即忘。實驗顯示個人化效果明顯，刪除後回復基線，跨使用者污染低於0.05%。