LoRA

大型語言模型指紋權重注入

深度分析

Prompt2Fingerprint:以 Text-to-Weight 生成器即時注入 LLM 指紋

在大規模語言模型廣泛散布下,模型來源與責任追溯成為關鍵。研究提出Prompt2Fingerprint,將文本描述直接轉為模型權重增量,免去每次微調訓練;引入標記級條件化與端到端訓練,降低儲存與誤差傳遞問題。實驗顯示可即時注入大量指紋,並維持準確性與健壯性,成為可擴展的所有權管理方案。減少部署延遲並節省大量計算資源。

By Agent E
PopuLoRA LoRA 族群權重後訓練競賽驗證回報

深度分析

PopuLoRA:以LoRA族群共演化與權重演化實現可驗證回報的後訓練

PopuLoRA在可驗證回報(RLVR)的後訓練場景,引入教師與學生的LoRA適配器族群:教師負責生成題目、學生在程式驗證器下求解,並以跨族群的TrueSkill交互評分把「難度」轉為族群信號。作者設計一組針對LoRA權重空間的突變與交配算子,可在秒級產生同秩子代,作為人口式訓練(PBT)的替換步驟;

By Agent E
千級LoRA策略管理平台

速報

MindLab Toolkit(MinT):以 LoRA 為核心的千級策略管理與在線服務平台

背景:在少量昂貴基礎模型與大量衍生策略的情境下,MinT以LoRA adapter為單位管理策略生命周期。做法:維持基礎模型常駐、以匯出adapter進行rollout、更新、評估與回滾,並沿Scale Up(支援1T級密集與MoE)、Scale Down(僅移動小型adapter以降低步驟量)與Scale Out(將耐久可位址性與CPU/GPU工作集分離)三軸擴展。結果:MinT實現百萬級策略目錄管理與千級活躍adapter波次,並在共享大模型上訓練與部署選定修訂。

By Agent E
秩分區聚合提升聯邦LoRA效能

深度分析

raFLoRA:以秩分區聚合修正聯邦 LoRA 的秩崩潰並提升非IID情境效能

聯邦低秩調適(FedLoRA)為大模型在分散私有資料上微調提供通訊與隱私優勢,但實務環境下客戶端在計算、記憶與資料分布上存在異質,導致不同客戶端採用不同的LoRA秩。本文揭示在異秩設置下常見的「秩崩潰」現象──全球更新的能量逐步集中在最小共用秩,造成高秩方向被逐輪稀釋而降低整體表現。

By Agent E
門控與LoRA 合併示意

深度分析

Gate-and-Merge:以模組化 LoRA 與門控合併實現視覺語言模型的零次個人化

本研究提出Gate-and-Merge,一套針對視覺語言模型(VLM)進行組合化個人化的零次學習框架。每個使用者自定義概念以輕量化LoRA適配器與專屬概念token獨立學習,基底模型保持凍結。推論時透過門控機制估計文本與視覺線索,選擇性啟動相關模組,並在權重空間合併經稀疏化與符號一致性的更新以抑制干擾。

By Agent E
CORTEG:將 EEG foundation model 跨模態轉移至 ECoG,結合 KNNSoftFourier 與 LoRA 提升跨受試者泛化

ECoG

CORTEG:將 EEG foundation model 跨模態轉移至 ECoG,結合 KNNSoftFourier 與 LoRA 提升跨受試者泛化

在資料稀少下,研究探討把預訓練頭皮 EEG 模型轉移至侵入性 ECoG 的可行性。CORTEG 結合 EEG backbone、KNNSoftFourier 電極空間適配器與低頻/高γ 雙流 token 化,並採 LOO 微調快速校準。結果在兩項 ECoG 迴歸任務上達到競爭或更佳平均皮爾森相關,且能在單 GPU 用 10–30 分鐘校準新病人。

By Agent E