大型語言模型揭示自動作文評分的內在結構

大型語言模型（LLM）近期在自動作文評分（AES）上展現出顯著效能，但其內部如何表徵作文品質仍是未知領域。研究團隊針對八種 LLM，分別在兩個英語作文資料集（ASAP++、CSEE）與一個葡萄牙語資料集（ENEM）上進行系統性分析。

方法與分析

研究使用線性探測（linear probing）評估模型表徵中是否隱含可直接解碼的作文品質資訊；透過跨提示（cross‑prompt）泛化測試探討不同題目設定下的穩定性；再以維度縮減與神經元層級分析觀察資訊在模型層次的分布情形。

主要發現

結果顯示，作文品質資訊以線性可取形式存在於 LLM 的隱藏表示中，且隨著層數逐層累積，較深層的表徵對長篇作文的貢獻更大。不同的提示策略對這些資訊的編碼影響不大，且即使評分規範不同，模型仍能在一定程度上跨提示轉移。

非線性探測（non‑linear probes）僅帶來微幅且不一致的提升，說明大部分品質訊號已被線性方式捕捉。研究進一步辨識出若干「作文評分神經元」，其激活值與作文分數高度相關，且對目標干預（targeted intervention）十分敏感。

意涵與未來方向

此研究提供實證證據，證明 LLM 能以結構化方式編碼作文品質，為 AES 系統的可解釋性與可靠性提供新視角。未來可進一步探索如何利用這些關鍵神經元提升評分穩定性，或將其應用於其他語言的寫作輔助工具。

延伸閱讀

• Shadow‑Loom：以 AMWN 與因果物理驅動的型別化圖形世界模型
• 輸入分桶與成對交換介入：提升因果抽象在機器可解釋性的局部忠實度
• NEURON：以 SNOMED‑CT 本體嵌入與 RAG‑LLM 強化臨床可解釋性與預測

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。