深度分析
以 Fréchet 一階展開量化 LoRA 對模型 logit 的層級貢獻
本文以數學與機制角度，釐清低秩適配（LoRA）如何在局部一階近似下影響 Transformer 模型的最終 logit。作者以沿預訓練前向軌跡的 Fréchet 展開推導出單層的第一階項，並證明多層 LoRA 的總體一階效應可拆解為各層貢獻的線性和，跨層耦合則被收納到高階餘項。
深度分析
本文以數學與機制角度，釐清低秩適配（LoRA）如何在局部一階近似下影響 Transformer 模型的最終 logit。作者以沿預訓練前向軌跡的 Fréchet 展開推導出單層的第一階項，並證明多層 LoRA 的總體一階效應可拆解為各層貢獻的線性和，跨層耦合則被收納到高階餘項。
跨語言轉移
針對低資源語言在大型語言模型中的表現不均問題，最新研究提出一套專為圖爾基語系設計的理論框架。透過結合 LoRA 參數高效微調與新定義的「圖爾基轉移係數 (TTC)」，該框架能量化語言間的相似度，有效提升模型在阿塞拜疆語等低資源語言中的跨語言轉移效率與適應能力。