LoRA 微調

深度分析

「Echelon」邊界優先聚合訓練框架：提升 AI 模型合規性與效能的分散式微調方案

隨著跨機構AI模型開發受限於治理與資訊流規範，Echelon提出以邊界為第一級的聚合限制，僅允許安全聚合的更新與少量協調資料跨境。實驗顯示在1B參數LoRA調整下，效能與低通訊基線持平，且可審計的資訊流提升合規性。此設計亦支援WAN延遲與設備漂移的自適應同步，確保穩定訓練。

深度分析

Phi Silica 透過 LoRA 微調提升短文本重寫精度

隨著短文本重寫需求提升，研究者以公開投影片文字建構資料集，透過 GPT‑5‑Chat 產生參考改寫，並以 LoRA 微調 Phi Silica。共收集93萬對短句，評估以 GPT‑5‑Chat 作為評審，偏好勝率提升至68%以上。結果顯示模型在語意保留與幻覺降低上明顯優於基線，縮小與雲端大模型差距。

深度分析

「駕駛向量蒸餾」揭示潛意識學習機制：單向量傳遞偏好與自適應優化器角色

研究指出，語言模型在以無語意輸出微調教師模型後，會透過單一駕駛向量繼承教師的語意偏好。實驗顯示，向量可在推論時復現偏好，且需自適應優化器才能成功蒸餾。此發現解釋了跨模型失效的原因。未來此機制可能影響模型安全與偏見控制，提供新型可控微調方法。

深度分析

Pocket‑Dentist：緊湊多模態視覺語言模型與LoRA微調在牙科影像的在地推論與效率評測

全球口腔病負擔高且偏遠地區缺診斷資源。研究提出Pocket-Dentist，將三種牙科影像與五類臨床問題統一為多模態問答基準，並納入效率指標與在地推論考量。在iPhone17Pro上微調後之2B模型達到每樣本4.31秒，本地推論兼顧準確與低延遲。

深度分析

ProActor：以多時窗標註與 GRPO 優化時機感知的主動任務排程框架

在對話型助理從被動到主動的轉向下，ProActor提出以時機敏感強化學習優化任務排程。它以自動化跨域標註生成多元可行觸發時窗、設計衡量時機與動作一致性的指標，並用階段感知複合回報與GRPO進行對話回合級優化。實驗顯示能顯著改善觸發時機同時維持動作一致性。同時提出ART-F訓練框架以降低資源門檻，支援低位元量化與LoRA後訓練。

深度分析

Moltbook Files 分析：LLM 代理人社群與 LoRA 微調對 Qwen2.5-14B-Instruct 的影響

研究聚焦一個由大量LLM代理人主導的公開論壇Moltbook，團隊釋出232k篇貼文與2.2M留言並實施PII清理。分析社群、語義與情緒，並在Qwen2.5-14B上測試微調效應，發現事實性與對齊下降但與等量Reddit影響相近，提醒需以基線比較衡量風險。

深度分析

PERSA：以 RLHF 結合層級 LoRA 將 LLM 調校為教授風格回饋

大型語言模型在教育回饋上有潛力但風格對齊不足。PERSA採RLHF與層級選擇性LoRA微調，僅更新高層適配器以保留核心能力並強化教授語氣與結構表現。實驗顯示在程式碼回饋上達到高風格對齊且維持正確性，為個人化AI助教提供可行路徑。此方法兼顧內容與語氣的同步調校。

LLaMA3

以 LLaMA3 骨幹比較零樣本、少量示例與 LoRA 微調於細粒度醫療實體識別的效能

面對醫療紀錄中大量非結構化文字，細粒度醫療實體識別（MER）對臨床決策與研究至關重要。這項研究以開源LLaMA3作為統一骨幹，比較零樣本、少量示例與採用LoRA的參數高效微調策略，並引入以BioBERT嵌入做句級與字級相似度的示例選取方法以強化少量學習。

深度分析

Phi-4-mini 4 位元量化實作：從即時串流聊天到 LoRA 微調與 RAG 工作流

本篇教學在 Google Colab 環境下，以 4 位元量化載入 Microsoft Phi-4-mini‑instruct，示範從即時聊天、步驟推理、工具呼叫、檢索增強生成 (RAG) 到 LoRA 輕量微調的完整工作流程。