大型語言模型後訓練：可及支援視角下的能力引出與能力創造
這篇論述從理論層面重整大型語言模型（LLM）後訓練的討論，主張應區分「能力引出」（elicitation）與「能力創造」（creation）。
要點速覽
研究指出，討論大型語言模型後訓練時，不該只把監督微調當作模仿、把強化學習當作探索。更關鍵的是：訓練是否改變模型在實務上能到達的行為範圍。
可及支援的分別
作者引入「可及支援」（accessible support）概念，指在有限計算與操作預算下，模型實際能產生的行為集合。若後訓練只是改變這集合內行為的機率分布，屬於能力引出；若後訓練擴展了這個集合，則屬於能力創造。
自由能視角與方法論含義
從自由能角度看，微調與強化學習都可被視為對預訓練參考分布的重加權：微調以示範信號把某些行為設為低能量，強化學習以獎勵信號做類似的低能量定義。當更新保持接近基礎模型時，主要效果是局部重權，而非根本創造新能力。
研究與應用的焦點轉移
因此後訓練研究的核心問題，應從「這是微調還是強化學習？」轉為「訓練是否在既有可及行為內重排，或透過搜尋、互動、工具使用或新資訊擴展模型可達的行為空間？」這一判準影響模型評估、基準設計與未來研究路徑。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
