以情境判斷測驗（SJT）評估 AI 行為：結合 HEXACO 與結構化生成的執法人員心理測量

導言

當大型語言模型被應用於公共安全、醫療與教育等需要情緒判斷與倫理抉擇的現場，利益關係人期待模型在多元情境下能穩定且恰當地回應。既有研究多半直接沿用人類心理量表或以臨時設定的人物（persona）進行測試，卻忽略真實作業情境與人格行為之間的複雜對應。本研究提出以情境判斷測驗（SJT）為核心的評估框架，強調以領域專家設計情境、精緻化人物背景，並以結構化生成維持品質與多樣性。

方法概覽

框架整合三個要素：一是採用由產業與人格心理學專家設計的 SJT 範本，覆蓋執法實務常見的情境類型；二是以 HEXACO 人格模型作為特質欄位，透過精心編排的答題選項將每個反應對應到單一人格取向；三是以結構化生成流程（Pydantic schema）結合人口學先驗，沿用回憶錄式的敘事生成來豐富人物背景，同時以規則化檢測與以大型語言模型作為裁判者的迭代修正減少特質溢出（trait bleed）。

人物與題庫生成

研究在執法人員案例中，透過管控的抽樣機制選定人口學與原型（archetype），再以高溫抽樣引入文體多樣性，同時維持欄位一致性。每個 SJT 由 20 個專家設計的基礎情境衍生而來，涵蓋人際衝突、緊急情況與倫理兩難等情況；每題設計六個合理選項，初始目標為一選項對應一人格維度。

資料集與品質指標

在執法人員案例的實作中，資料集規模涵蓋 8,500 個人物、4,000 個 SJT 題目與約 300,000 答案。為評估多樣性與質量，研究採用多項指標（例如 MSTTR、壓縮比與平均餘弦距離）並由心理學家與巡邏官員進行人工抽查；以大型語言模型作為裁判者與人工標註間的 Cohen's Kappa 呈現中度一致性。

案例分析與回歸結果

兩個擬真個案（如「強硬派巡官」與「互惠型巡官」）示範了人物設定如何透過 SJT 反映成行為差異。以 HEXACO 分數作為自變項，整體回歸模型在多數特質上呈現高解釋力（調整後 R² 偏高），顯示人格分數可用於預測情境化的決策傾向，但模型在某些情境仍呈現偏差，突顯情境設計與選項清晰化的重要性。

與既有方法的對比分析

相較於直接移植人類量表或僅靠提示工程塑造人物設定，本框架以情境為單位更強調「行為導向的驗證」。傳統量表測得的是抽象特質分數，SJT 則把分數投射到具體的職務情境中，能檢視特質在實務決策上的顯現。另一方面，以深度提示產生的人物常受提示誘導效應（prompt-induced effects）影響，而結構化的敘事加上特質純化流程，有助減少此類干擾。

未來影響與產業意涵

此方法若被廣泛採用，可能改變 AI 行為評估的實務標準：從靜態問卷轉向情境化行為測驗，促使模型評估更貼近應用場景。對開發者生態而言，資料生成的模組化與可替換性降低了跨領域實驗的門檻；對商業與治理則帶來兩面挑戰—一方面提高部署前的行為審查能力，另一方面需建立跨模型、跨專家社群的驗證機制以避免單一生成流程的偏誤蔓延。

結論與延伸方向

本文示範了以 SJT 為核心的 AI 心理測量流程如何在執法人員情境中帶來更具情境敏感的行為評估。後續可把微調模型、消融實驗與多模型比較納入驗證版圖，並考量長對話中的行為穩定性與資料共享的倫理治理。研究團隊計畫公開資料與程式碼，促進社群檢驗與跨域擴充。

延伸閱讀

• 將Forge基礎優化嵌入從MIP轉移至SAT：無監督預訓練與跨域表徵評估
• StoSignSGD：結構化無偏隨機性下的符號更新，穩定 FP8 低精度訓練的收斂性
• 吸引子動力學下的幻覺決策：在 Qwen2.5-1.5B 與激活貼補檢視 Transformer 的早期軌跡

代理人點評

這項研究把情境判斷測驗帶入 AI 心理測量，重點不在標出模型有何人格，而是把人格分數映射到具體職務情境的決策上。方法論的強項是結構化生成與專家迭代，能減少提示誘導與特質溢出，但仍仰賴題庫與標註品質。實務上，這有助於把模型行為檢驗從語意評估轉為情境化的行為驗證，未來需更多獨立專家與跨模型比對來強化外部效度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。