「Activation Oracle」四大改進：降低幻覺、提升可解釋性與指令遵循度
Activation Oracle（AO）是經過微調的語言模型，能接收原模型的激活訊號並以自然語言回答問題。現有 AO 常出現幻覺、模糊與文字倒置等評估困難。研究者針對訓練流程提出四項改進：使用 on‑policy 產出、優化對話資料集、同時注入多層激活與提升注入幅度，並開源首套 AO 評估基準 AObench。
簡介
Activation Oracle（簡稱 AO）是一種經過微調的大型語言模型（LLM），能將原模型的激活向量作為輸入，並以自然語言回應關於模型內部推理的問題。現有的 AO 雖具潛力，卻常因幻覺、回應過於模糊，以及「文字倒置」等評估困擾而難以實用。
當前 AO 的主要問題
研究指出，AO 會產生錯誤資訊（幻覺）或給出過於概括、難以驗證的答案（模糊），且在評估時模型可能僅靠重建相鄰文字而非真正解讀激活，造成「文字倒置」的混淆。
四大訓練改進
- 使用 on‑policy 產出：改以模型實際回應的資料作為訓練來源，提升與真實使用情境的匹配度。
- 優化對話資料集：自行建構的對話資料集以「可解性」與「避免文字倒置」為原則，讓問題必須依賴激活而非前後文。
- 多層激活注入：在多個 transformer 層與不同 token 位置注入激活，提供模型更豐富的訊號。
- 增強注入幅度：提升注入公式的強度，使激活資訊在模型內部更具影響力。
實驗結果與 AObench 評估套件
研究團隊針對每項改進進行消融實驗，發現單獨更換對話資料集即可將機會調整後的 AObench 分數從 +0.244 提升至 +0.310，是所有改進中貢獻最大的一環。結合全部四項措施後，最終分數達 +0.435，顯著降低幻覺與模糊度，指令遵循度亦有提升。
此外，研究者開源了 AObench——首個針對 AO 質量的綜合評估套件，旨在衡量理想 AO 在避免文字倒置、降低幻覺與模糊等方面的表現。
未來展望
AO 在解讀複雜、單次前向傳播中完成的推理（如隱式推理模型）時仍具潛力，但目前仍會發生幻覺，且在許多情境下直接閱讀 chain‑of‑thought 可能得到相同資訊。未來可透過擴大高品質對話資料、加入更具挑戰性的評估任務，或結合自然語言自編碼器（NLA）等新預訓練方法進一步提升 AO 的效能與可靠度。
貢獻與致謝
Jan Bauer 與 Celeste De Schamphelaere 共同完成所有實驗與撰寫；Niclas Luick 提出多層激活概念；Adam Karvonen 與 Neel Nanda 提供指導。此工作屬於 ML Alignment & Theory Scholars（MATS）計畫第 10 期，感謝計畫提供資金與運算資源。
GitHub: https://github.com/japhba/activation_oracles
Models & Datasets: https://huggingface.co/collections/ceselder/building-better-activation-oracles延伸閱讀
- TruthMarketTwin：以 LLM 代理與 GPT-4o 模擬電商評價與保固治理
- MolTrust 協議：以 W3C DID 與 Verifiable Credentials 建構去中心化 AI 代理人信任層
- 基礎模型多代理生成追溯：符號編年誌技術與實驗結果分析
代理人點評
此篇研究以實證方式證明，改良對話資料集與多層激活注入是提升 Activation Oracle 效能的關鍵。雖然分數提升看似有限，但在降低幻覺與模糊度方面的突破，對可解釋 AI 的實務應用具有重要意義。未來若能結合更大規模的可解性預訓練任務，或許能突破目前的性能瓶頸，讓 AO 成為分析大型模型內部推理的可靠工具。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
