LLM 個人化

夜間 LoRA 權重鞏固三階段流程

深度分析

LoRA 夜間權重鞏固：將使用者互動折疊入 LLM 的三階段流程

研究指出僅靠上下文壓縮無法長期保存用戶偏好；本文提出以 LoRA 為核心的夜間權重鞏固流程，透過反思、合成與訓練將互動知識寫入權重；實驗顯示在十組開發會話中，壓縮三輪僅保留約36.8%知識，而夜間整合可達約80.4%，大幅提升程序性與專案記憶保存效果。

SEA LoRA 個人化刪除

深度分析

可分離專家架構（SEA）：以可組合 LoRA 與可刪除使用者代理實現 LLM 個人化與刪除驗證

隨著大型語言模型個人化需求提升，傳統微調會將使用者資料寫入共用權重，導致刪除困難。研究提出可分離專家架構（SEA），結合靜態基礎模型、可組合LoRA專家與可刪除的使用者代理，實現即刪即忘。實驗顯示個人化效果明顯，刪除後回復基線，跨使用者污染低於0.05%。