適應器

深度分析

DoRA‑RBAC 在 LLaMA‑3.1‑8B 與 Mistral‑7B 上的適應器組合幾何合併效能分析

大型語言模型的領域存取控制需要模組化機制。研究測試了基於DoRA的幾何感知合併與傳統歐氏平均，結果顯示在多領域問答上兩者表現相近，且參數空間的正交性並非干擾主因。研究亦指出，方向對齊度僅能解釋幾何合併退化為歐氏行為，無法預測整體組合效能。此發現對未來的適應器組合與隱私保護有重要啟示。