深度分析 GiVA:用 SVD 從首步梯度構建基底,實現低秩向量化適配並接近 LoRA 效能 隨著大型模型規模持續擴增,逐一全微調成本與儲存負擔變得不切實際,參數高效微調成為務實選擇。本文改寫的研究提出GiVA,一種針對向量化適配的梯度導向初始化法:透過對下游任務第一步的完整微調梯度做奇異值分解(SVD),以該梯度構建不可訓練的基底,並只訓練極少數的縮放向量。