MoE-LoRA

TalkLoRA

TalkLoRA：透過通訊機制解決 MoE-LoRA 專家孤島效應，提升 LLM 參數高效微調性能

研究人員提出 TalkLoRA 框架，透過在 MoE-LoRA 結構中加入通訊模組，打破專家之間的獨立性假設，解決路由不穩定與專家主導問題。實驗證明，TalkLoRA 在語言理解與生成任務上優於傳統 LoRA 與 MoE-LoRA，能以更少的參數達成更高的微調效率與更均衡的專家利用率。