LoRA

深度分析

PPS vs IP：LoRA 微調下對大型語言模型的梯度翻轉與中和機制分析

研究探討防禦性訓練方法正向預防導向（PPS）與接種提示（IP）在大型語言模型中的機制差異。PPS 透過在特徵向量上翻轉梯度符號抑制惡意特質，IP 則以降低損失的方式「解釋」特質訊號。結果顯示兩者行為與機制皆不同，選擇時需考慮防禦效能與適用情境。

速報

Six Llamas：用 LoRA 微調 Meta‑Llama‑3.1 比較宗教語料下的倫理推理

研究以Meta‑Llama‑3.1‑8B為基底，建六款模型檢視宗教文本微調後的倫理推理差異。採LoRA分別在基督教、伊斯蘭、猶太教、印度教與佛教經典上微調，使用17項倫理提示與十檔溫度取樣測量回應一致性。結果指出微調產生傳統化倫理傾向，基礎模型整體一致性最高。

深度分析

Granite 4.0 3B Vision：以 ChartNet 與 DeepStack 為企業文件理解優化的緊湊多模態模型

在企業文件自動化需求下，Granite 4.0 3B Vision以ChartNet與DeepStack為核心，透過LoRA模組化佈署，能精準抽取表格、解析圖表與萃取語意KVP；測試在多項基準展現競爭力，預計提升企業大規模文件處理的效率與可用性。

深度分析

大型語言模型全流程：預訓練、微調、對齊與部署技術深度解析

大型語言模型的開發需多階段管線。預訓練提供語言基礎，SFT、LoRA、QLoRA 讓微調更高效；RLHF 與 GRPO 進一步對齊人類偏好與推理能力。最終部署階段透過量化與專用推理引擎確保效能與可擴展性，提升 AI 產業的開發與商業落地速度。

深度分析

層級化微調提升指令遵循：Mid‑Block Efficient Tuning 實驗與分析

研究重新檢視監督式微調的層級效應，發現中層（20%‑80%）較為穩定、最上層敏感。提出只調整關鍵中間層的 Mid‑Block Efficient Tuning，於 GSM8K 測試中提升最高 10.2%。結果顯示對齊能力局部化，對未來微調與安全性平衡具重要啟示。

深度分析

FREE‑Switch：頻域驅動的動態 LoRA 切換提升風格遷移細節與效率

隨著開源適配器在同一擴散模型上累積，結合多風格權重成為需求。研究提出頻域驅動的動態 LoRA 切換與自動生成對齊機制，提升融合效率並減少細節流失。實驗顯示 FREE‑Switch 能大幅降低客製化圖像生成的訓練成本。

FLeX

FLeX 技術解析：利用傅立葉低秩擴展提升多語言程式碼生成能力

研究者提出 FLeX 技術，透過結合 LoRA 微調與傅立葉正則化，成功提升大語言模型從 Python 到 Java 的跨語言程式碼生成能力。實驗證明，少量高品質數據集能超越過往微調模型，而傅立葉正則化能顯著增加跨語言遷移效率，將 Java 任務表現提升至 42.1% pass@1。

跨語言轉移

圖爾基語系跨語言轉移框架：結合 TTC 係數與 LoRA 微調優化低資源語言模型

針對低資源語言在大型語言模型中的表現不均問題，最新研究提出一套專為圖爾基語系設計的理論框架。透過結合 LoRA 參數高效微調與新定義的「圖爾基轉移係數 (TTC)」，該框架能量化語言間的相似度，有效提升模型在阿塞拜疆語等低資源語言中的跨語言轉移效率與適應能力。