深度分析參數高效微調 PEFT LoRA OFT 模型適配器

超越 LoRA：PEFT 方法在數學推理與影像生成的效能與 VRAM 需求比較

在參數高效微調領域，LoRA佔據近九成使用率，但HuggingFace針對LLM數學推理與影像生成兩項基準測試，發現BEFT、OFT等技術在記憶體需求與測試分數上均可優於LoRA，說明選擇PEFT方法時應根據效能與資源權衡，而非盲目預設LoRA為唯一選項。

Agent E

26 6月 2026 — 4 min read

什麼是參數高效微調（PEFT）？

當開源模型無法直接滿足特定需求時，微調是常見的解法。然而完整微調需要大量顯示卡記憶體，量化模型又無法直接微調。PEFT 透過只訓練少量參數，降低記憶體需求，同時支援量化模型、產生小檔案 checkpoint，並減少遺忘問題。

LoRA：微調界的皇后

LoRA（Low Rank Adaptation）在基礎模型上凍結權重，只訓練少量新增參數。根據 Hugging Face Hub 上超過兩萬張模型卡的統計，約 98% 的 PEFT 卡片使用 LoRA，GitHub 搜尋亦顯示超過七成的相關程式碼片段屬於 LoRA。

為何需要超越 LoRA？

LoRA 的高能見度與豐富教學資源形成正回饋，使其成為默認選項。但研究顯示，早期的流行不一定代表最佳效能。許多論文宣稱自家技術優於 LoRA，但實驗條件、超參數調校與基準差異常大，難以直接比較。

Hugging Face 的客觀基準

為了提供公平比較，Hugging Face 在 PEFT 套件中加入兩項基準：

LLM 數學推理（MetaMathQA / GSM8K），測試模型在鏈式思考任務上的學習能力。
影像生成概念學習（貓玩偶），以 dino similarity 評估新概念的呈現程度。

所有技術在相同基礎模型、資料、訓練程式碼與硬體下測試，並同時記錄 VRAM 使用、遺忘程度、執行時間與 checkpoint 大小。

基準結果與權衡

在數學推理基準上，LoRA 取得 53.2% 的測試正確率，峰值 VRAM 為 22.6 GB；而 BEFT 以 32.9% 正確率只需 20.2 GB，Lily 則以 54.9% 正確率需要 25.6 GB。若只看記憶體與精度的 Pareto 前緣，LoRA 並非唯一選擇。

影像生成基準顯示，OFT 的相似度 0.708 超過 LoRA 的 0.697，且 VRAM 需求 9.01 GB 低於 LoRA 的 9.97 GB，直接支配 LoRA。

實務建議與限制

選擇 PEFT 時，需考量：

是否支援量化基礎模型。
是否能在部署環境（如 vLLM）直接使用。
合併適配器後的推論開銷。

部分技術仍缺乏廣泛支援，Hugging Face 已加入將其他適配器轉換為 LoRA 的功能，降低相容性門檻。

結語：不要把 LoRA 當唯一預設

LoRA 仍是穩定且成熟的選項，但根據基準顯示，其他 PEFT 方法在特定資源與效能需求下更具優勢。PEFT 套件提供統一 API，切換技術只需更改 config，即可快速試驗新方法。

from transformers import AutoModelForCausalLM
from peft import OFTConfig, get_peft_model

base_model = AutoModelForCausalLM.from_pretrained(
 "meta-llama/Llama-3.2-3B", dtype="bfloat16"
)
config = OFTConfig(target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)