HER 框架：雙層思考提升大型語言模型角色模擬的認知深度

背景與挑戰

大型語言模型已被廣泛運用於陪伴、內容創作與數位遊戲等角色扮演情境，能捕捉角色語調與知識。然而，模擬角色行為背後的內在思考仍未成熟，主要因缺乏高品質推理痕跡資料與與人類偏好對齊的獎勵訊號。

HER 框架概述

研究提出 HER（Cognitive‑Level Persona Simulation）作為統一的認知層級角色模擬框架。核心創新在於「雙層思考」：將角色的第一人稱思考（內在動機、推理）與 LLM 的第三人稱思考（外部敘事）分離，使模型能同時產出內在推理與外在回應。

資料與獎勵模型建構

為填補推理資料缺口，團隊使用逆向工程方式從現有角色對話中萃取推理步驟，形成「推理增強角色扮演」資料集。接著，根據人類偏好設計原則，訓練出對齊的獎勵模型，以指導模型在生成內在思考時符合使用者期望。

模型訓練與效能驗證

以 Qwen3-32B 為基礎，結合監督式學習與強化學習，訓練出 HER 版本模型。實驗在 CoSER 基準測試中提升 30.26 分，且在 Minimax Role‑Play Bench 上取得 14.97% 的表現增益，顯示雙層思考與高品質推理資料的有效性。

開放資源

研究團隊已公開 HER 的資料集、原則文件與訓練模型，供學術與產業界持續探索認知層面的角色模擬。

延伸閱讀

• EmoBench-M：多模態大語言模型情緒智識基準問世
• CNSL-bench：首個中文多模態手語理解基準揭示多模態大模型弱點
• SAT 編碼攻克優先知識庫：Pareto 與 Completion 最佳修復實作與評測

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。