簡易提示提升大型語言模型與人類道德判斷對齊
研究檢視大型語言模型（LLM）在捕捉人類道德判斷時的兩大缺陷：回應分布不完整與表述變化導致判斷不穩定。透過兩套資料集——美國 144 個道德情境與國際社會調查計畫 32 國的 38 項道德信念——實驗證明，讓模型同時回報標準差與回應比例，可更完整呈現人類回應範圍；
大型語言模型（LLM）在捕捉人類道德判斷時，常被批評兩項限制：無法完整呈現回應分布，以及對文字表述的微小變化呈現不穩定的判斷。
研究方法與資料集
研究者選用兩組資料：一套美國代表性的 144 個道德情境，另一套來自國際社會調查計畫（International Social Survey Programme）家庭與性別角色模組的 38 項道德信念，涵蓋 32 個國家。透過簡單的提示策略，測試模型在不同情境下的表現。
提升模型對齊的兩項技巧
第一，要求模型同時回報每個問題的標準差（standard deviation）與回應比例（response proportion），使模型能捕捉到人類回應的全域分布，效果優於僅回報最常見答案的傳統做法。
第二，確保情境對人類受測者而言清晰明確，這可透過人類的混淆度評分（confusion rating）量測。研究發現，情境越清晰，模型的對齊程度越高，且 LLM 能夠預測人類的混淆度分數。
誤差估計與變異性預測
儘管模型能追蹤人類的變異性，但在自我誤差的估計上仍顯不足，校準度偏低。換句話說，模型對自身答案的不確定性判斷不夠可靠。
結論與啟示
研究顯示，透過更好的提問方式—包括要求模型回報分布資訊與提升情境清晰度—即可顯著改善 LLM 與人類道德判斷的對齊。未來在設計 AI 輔助決策系統時，應重視問題的構造與回應資訊的完整性。
延伸閱讀
- 從提示到情境：CCAI 本體論在生成式人工智慧協作中的實作
- MOOSE-Copilot：以 HAII 協議與樹狀可視化串接 LLM 的探索與精細化流程
- Eliot：以 MiniLM 嵌入、UMAP 與凝聚式聚類實現查詢時 arXiv 論文叢集與時間視覺化
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
