深度分析
UNLOCK 框架:透過線性子空間對齊實現跨模型能力遷移
研究人員提出「萬能金鑰假說」,透過 UNLOCK 框架實現能力跨模型遷移。無需重新訓練,僅需線性對齊潛在子空間,即可將大型模型的推理能力「複製」到小模型中,在數學推理任務上展現出顯著的準確率提升,挑戰了傳統的知識蒸餾法。
深度分析
研究人員提出「萬能金鑰假說」,透過 UNLOCK 框架實現能力跨模型遷移。無需重新訓練,僅需線性對齊潛在子空間,即可將大型模型的推理能力「複製」到小模型中,在數學推理任務上展現出顯著的準確率提升,挑戰了傳統的知識蒸餾法。
LLM Reasoning
為什麼 AI 的內部熵值變化能預測其答案正確性?這項研究提出「逐步資訊量假設」(SIA),揭示 LLM 在推理時會透過累積資訊量來降低熵值,並證明此機制是由訓練過程誘導出的。透過分析 Gemma-2 與 LLaMA-3.2 等模型,研究揭示了 AI 推理的內部邏輯與正確性之關聯。