雅可比矩陣

深度分析

以 Fréchet 一階展開量化 LoRA 對模型 logit 的層級貢獻

本文以數學與機制角度，釐清低秩適配（LoRA）如何在局部一階近似下影響 Transformer 模型的最終 logit。作者以沿預訓練前向軌跡的 Fréchet 展開推導出單層的第一階項，並證明多層 LoRA 的總體一階效應可拆解為各層貢獻的線性和，跨層耦合則被收納到高階餘項。