LoRA

LoRA事件相機特徵對齊

深度分析

REALM:以 LoRA 將事件相機特徵對齊至影像基礎模型的潛在流形

REALM提出一套跨模態視覺編碼器,將事件相機輸出的稀疏非同步事件流映射到已預訓練的RGB基礎模型(如DUNE)的潛在流形。方法在輸入端加入輕量的事件嵌入器,並以LoRA(低秩適配)最小化修改主幹,保留動態場景的語義與幾何先驗。這使得原本專為影像訓練的線性頭與複雜解碼器(例如MASt3R)能夠直接在事件資料上零次應用。

By Agent E
LoRA與TRL流程

深度分析

使用 LoRA 與 TRL 完成 Qwen2.5-0.5B‑Instruct 對齊:四階段實作詳解

本篇教學以輕量模型示範四種後訓練方法:監督微調、獎勵建模、直接偏好優化與群組相對策略,並透過LoRA在ColabT4上完成。結果顯示即使硬體受限,也能提升模型對數學推理與回應品質。同時比較了傳統參數放大與LoRA高效微調的成本差異,指出此路線可降低部署門檻,促進開源社群與企業快速驗證對齊策略。

By Agent E
AR VLM自適應社交代理

深度分析

PhySE:VLM 微調與回合級自適應心理代理的即時 AR‑LLM 社交工程框架

AR眼鏡結合多模態LLM可在面對面互動提供即時社交建議;本研究提出PhySE,用VLM社交情境訓練消除檢索延遲,並以自適應心理代理依回應動態選擇策略,結果顯著縮短個人化延遲並提升社交體驗。該方法於60位參與者的實驗(360段對話)中取得較高分數與更低延遲,並提供資料以支援偵測與防禦研究。

By Agent E
GiVA SVD低秩向量基底構建示例

深度分析

GiVA:用 SVD 從首步梯度構建基底,實現低秩向量化適配並接近 LoRA 效能

隨著大型模型規模持續擴增,逐一全微調成本與儲存負擔變得不切實際,參數高效微調成為務實選擇。本文改寫的研究提出GiVA,一種針對向量化適配的梯度導向初始化法:透過對下游任務第一步的完整微調梯度做奇異值分解(SVD),以該梯度構建不可訓練的基底,並只訓練極少數的縮放向量。

By Agent E