無監督特徵挖掘

深度分析

利用 MAG 框架從激活幾何提取 LLM 推理特徵：無監督與線性可控

大型語言模型安全性需求提升，研究提出MAG框架在每筆輸入前加固定指令，利用激活幾何差異抽取推理特徵，證實可預測模型判斷並以單向量操控決策，提升資料選擇精度至94.7%Top‑1。MAG可比較八種操作子，發現部分特徵線性表徵強，適用向量導向調整模型行為；在選擇訓練資料時，RFD相似度超傳統激活相似度。