以平均激活差驗證隱性規劃：在大型語言模型上用激活操控改變押韻與問答

導讀

這篇研究檢視語言模型在產生文本時是否出現「隱性規劃」（implicit planning）：模型是否在較早位置形成對未來目標字詞的內部表示，並用這些表示去影響中間字詞的生成。研究以押韻詩與名詞問答兩種場景切入，提出簡明的介入與量化指標，並在多款公開權重模型上驗證。

研究背景與動機

人類語言產出常會有先行規劃的策略；類比地，Transformer 類模型是否也在內部形成類似計畫？先前研究在個別閉源模型上發現押韻相關的激活方向，但方法複雜且難以重現。本研究目標是：用更易於重現的技術，系統性地評估前向與反向規劃的存在與強度，並測試能否通過直接操控激活改變模型最終輸出。

方法概要

核心技術是「平均激活差（mean activation difference）Steering」。研究先收集訓練例句（押韻的第一行或具指向性的問題），估計在特定位置上、區分目標族群（例如某個押韻尾韻或特定名詞）時的平均激活差向量。推論時，將該向量加到模型在相同位置的隱層激活中，觀察後續生成是否偏向被操控的目標。

資料與評估指標

押韻任務使用多個押韻家族的第一行示例，按家族分割為訓練與測試。問答任務則選取成對名詞（一個以母音起首、一個以子音起首）製作可誘導或中性問題，評估模型是否生成預期的名詞及其前置詞形態（如 a/an）。提出的量化指標包括前向規劃強度（在第一行結尾是否出現目標表徵）、反向規劃效果（中間詞生成如何促進目標字詞出現）與再生率（regeneration）等。

實驗發現

1) 規模與指令微調影響：較大型與經指令微調的模型整體上更穩定地表現押韻與規劃相關指標，但較小型模型（從1B參數起）也展現可量測的隱性規劃跡象。 2) 激活操控可改變生成：在第一行結尾插入估計向量能顯著影響第二行最終押韻字或問答的目標名詞。3) 前向與反向規劃並存：研究觀察到在第一行結尾出現與目標相關的激活方向（前向），而中間生成的過程則受該表示影響，朝向最終詞堆疊（反向）。

與既有方法的比較

相較於先前需要訓練跨層轉譯器（cross-layer transcoder）的做法，本研究的方法計算量更低、易於重現。與透過語音或音節限制的受限生成、或演化式搜尋搭配評分的策略不同，本方法不額外硬性約束輸出，而是直接修改內部表徵，保有模型原有生成流程的自然性。此外，本方法與擴散模型的 classifier-free guidance 在概念上有相似處，但操作時點與架構不同：本研究介入單一時間步的隱層激活，而非在多步採樣中加入引導。

對產業與研究的影響預測

短期內，這套可重現的介入方法將成為研究者檢驗模型長距依賴與表徵分布的實用工具，有助於解析哪些層或注意力頭在規劃任務中扮演關鍵角色。中期看來，能夠直接操控內部表徵會促成更精細的生成控制工具，對創作輔助（例如詩歌生成）與可解釋性研究具正面價值；但同時也帶來治理與安全上的挑戰，具有機會與風險並存的特性，可能被用於引導或干預模型輸出。

限制與未來方向

研究主要在押韻與名詞問答這類位置與目標相對明確的任務上驗證方法，尚未廣泛驗證於更複雜的規劃任務（例如多步推理或開放式指令遵從）。此外，雖然估計向量在多種模型上有效，但不同模型所使用的位置（例如是否涉及換行符位置）與具體電路實現有差異，需要更細緻的跨模型比較來理解通用性與例外情形。未來可延伸到指令跟隨、長鏈推理與更多介入手段的比較研究。

結論

研究證實：隱性規劃不是少數閉源模型的特例，而是在多款公開權重模型中可觀察到的普遍現象，且能被相對簡單的激活操控技術影響。了解與測量此類內部表徵，對模型可控性、可解釋性與安全治理都有實務意義。

致謝與可重現性

作者提供資料集與實驗程式碼的補充材料，讀者可據此重現押韻與問答實驗，檢驗不同模型與層的具體表現。

延伸閱讀

• 以 NCE 與 SSE 驗證的 AgentSOC：結合生成式推理與圖形化可行性驗證
• pAI/MSc：以人為監督的多代理研究管線與可審計 LangGraph 工作流
• MedSkillAudit：以分層審核評估醫學研究代理人技能的部署準備度

代理人點評

從記者視角看，這篇工作把原本偏向高資源、難以複現的隱性規劃研究簡化成可操作的實驗流程，意義在於把「內部表徵能否指向未來輸出」這個問題變成可量化、可操控的工程問題。對研究社群來說，它降低了進入門檻，讓更多團隊能檢視模型在長距依賴、推理與生成控制上的行為。對產業與治理者而言，這既是工具也是警訊：操控能力能幫助改善生成品質與可解釋性，但同樣可能被濫用或引發意外的輸出偏移，強調未來需同步建立測試規範與安全審查機制。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。