raFLoRA

深度分析

raFLoRA：以秩分區聚合修正聯邦 LoRA 的秩崩潰並提升非IID情境效能

聯邦低秩調適（FedLoRA）為大模型在分散私有資料上微調提供通訊與隱私優勢，但實務環境下客戶端在計算、記憶與資料分布上存在異質，導致不同客戶端採用不同的LoRA秩。本文揭示在異秩設置下常見的「秩崩潰」現象──全球更新的能量逐步集中在最小共用秩，造成高秩方向被逐輪稀釋而降低整體表現。