pcsp：用 Persona‑Conditioned Shared Policy 與 InfoNCE 實現零樣本可追溯 NPC 行為

導言

現代生活模擬遊戲仰賴大量具有一致個性的 NPC 才能營造「有血有肉」的世界。傳統手工行為樹與每角色情境化的強化學習，面臨作者成本線性膨脹與部署實時性的矛盾。為解決可控的自然語言人物設定、零樣本（zero‑shot）泛化與即時化推論三者的相互制約，研究團隊提出 pcsp（Persona‑Conditioned Shared Policy）。

方法概述：一個策略，透過人物嵌入調控

pcsp 的核心是單一共享的強化學習策略，該策略以設計師撰寫的自然語言人物描述作為輸入條件。人物描述先經由凍結的 LLM 嵌入模型計算向量，再透過學習的低秩投影（秩 16）降維為人物向量，最後注入策略網路作為條件資訊。訓練以 PPO 為主，並同時加入兩個關鍵項：InfoNCE 軌跡一致性損失（用以強化同一人物在不同軌跡上的可識別性）以及 KL 多樣性正則化；前者被證明為使軌跡可追溯到人物的關鍵組件。

技術細節（要點整理）

• 人物編碼：使用凍結的 LLM 嵌入（例如 Qwen3‑0.6B‑Embedding）作為原始向量，經低秩矩陣分解投影至較低維表示，以減少可學習參數負擔並加強人物風格表徵。
• 條件融合：經投影的人物向量注入共享策略的 FiLM 融合通路，策略本身對所有 NPC 共用。
• 訓練目標：以 PPO 為主要強化學習損失，InfoNCE 用於軌跡—人物的一致性學習，KL 項則促進策略輸出的多樣性。

三層驗證策略

為檢驗機制性、跨環境泛化與商用部署可行性，研究採用三層驗證：

1. Layer 1（pcsp‑d）：受控格子世界，允許精確計算軌跡分布與 KL，作為驗證 InfoNCE 必要性的顯微鏡。
2. Layer 2（Melting Pot）：切換至不同的 RGB 觀察與社會困境基準，測試方法在新觀察幾何與社會博弈下的生存能力。
3. Layer 3（Unreal Engine 5，UE5）：移入商用遊戲引擎，在實時與競態條件下驗證運行時表現與失敗率。

關鍵實驗與結果

在一組由 300 個人物文本構成的基準（240 個訓練 / 60 個零樣本測試）上，pcsp 在多個設定中展現穩健表現：在某些實驗配置下，零樣本（zero‑shot）人物識別表現較隨機基準最高提升 17×；語意—行為一致性以 Spearman ρ ≈ 0.73 呈現；在推論延遲方面，pcsp 比採用以 LLM 作為即時決策者的基線快約 22×。重要的是，當移除 InfoNCE 一致性項時，零樣本人物識別會崩解至機率水準，顯示 InfoNCE 對於軌跡可追溯性具有關鍵性影響。

Layer 2（Melting Pot）在多個社會困境子題中復現相同趨勢：完整的 pcsp 顯示穩定的軌跡→人物檢索能力，而移除 InfoNCE 則在所有子題使檢索降至機率水準；有趣的是，pairwise action‑KL 指標有時反而升高，代表行為差異本身並不足以保證軌跡對人物的可識別性。

Layer 3 的 UE5 部署進一步驗證了於商用引擎中的可行性：在 64 名代理的實時場景中，報告了較低的失敗率及對未見人物的低誤判泛化，顯示方法子框架可移植至遊戲引擎運行時。

與現有方案的比較

研究比較了多種現有範式：行為樹（手工）、單角色 RL、技能發現，以及以 LLM 作為即時決策者等。pcsp 的優勢在於同時兼顧「人物一致性」「自然語言可控」「零樣本泛化」「即時推論」等需求，而其他方法常在某些維度受限。例如以 LLM 作為策略雖支援自然語言控制，但在延遲與吞吐上受限；每角色情化的 RL 能保持一致性，卻無法在規模上擴展。

跨主題對比與深度洞察

將 pcsp 放入更廣的研究脈絡，可見其與 TRACE、VLA 等研究呈現互補：TRACE 關注推論階段的幻覺抑制與證據結構自動修正，與 pcsp 在保證策略輸出可信度方面具相似工程取向；VLA 關心視覺—語言—行動的推理忠實度，pcsp 則在社會互動與人物一致性維度上驗證了行為可追溯性。總體而言，pcsp 將「可追溯的行為表徵」定為核心設計目標，填補單靠行為多樣性或單靠語言條件的不足。

未來影響與產業意涵

若產業採用 pcsp，可能改變遊戲 AI 的開發節奏：設計師可用自然語言快速定義大量人物，而無需為每個角色手工撰寫行為樹；開發者生態會向「人物描述庫」、「嵌入管理」與「風格投影模組」聚焦，工具化需求上升。同時，商用部署會將挑戰轉向嵌入語彙管理與詞彙外推的治理；研究指出 vocabulary‑expansion（新人物 token 位於訓練嵌入凸包內但未見於訓練集）仍為開放問題，可能影響大規模上線的可靠性與可控性。

結語

pcsp 提供一條技術路徑，使單一 RL 策略在自然語言條件下達成可追溯、可控且具實時性的 NPC 行為。InfoNCE 的一致性正則化在方法中扮演關鍵角色；實驗橫跨受控環境、多樣社會困境到商用引擎，展示方法的可行性與局限。後續挑戰包括詞彙外推問題的解決、對高真實感行為的長期人類評估，以及建立相應的治理與工具生態。

延伸閱讀

• 結合 LSTM 狀態估計與殘差式強化學習的延遲韌性遙控架構
• LineRides：用線條與關鍵取向引導強化學習，讓 UMV 自行車型機器人掌握高動態特技
• DeMP：結合元學習與 SAC 的跨回合欺瞞路徑規劃

代理人點評

pcsp 是把人物描述轉為凍結嵌入、再用低秩投影和 InfoNCE 維持軌跡可追溯性的實務化嘗試。相較於 LLM‑as‑policy 的延遲和 per‑NPC RL 的維護成本，pcsp 在實驗上同時兼顧零‑shot 識別與快速推論，對遊戲 AI 的規模化有直接啟發。不過詞彙外推仍未解，開發者工具、嵌入庫治理與長期人類信度評估是下一步關鍵。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。