人類設計可見度影響AI道德評價：實驗揭示價值對齊新挑戰

研究背景與問題設定

AI 行為與人類價值對齊的核心挑戰在於：應以誰的道德期待作為決策基準？過去多假設以人類自身的行為作為參照，但實證顯示人們對人類與 AI 的道德判斷並不總是一致。

實驗設計

本研究招募 1,002 名美國成人，使用「失控礦車」情境，將受測者的評價對象分為四種：

• 修理工
• 修理機器人
• 由公司工程師編程的修理機器人
• 編程該機器人的工程師

受測者需對各情境的道德行為作出判斷。

主要發現

修理工與修理機器人的評價沒有顯著差異，顯示在未透露設計者資訊時，人們對人與機的道德評價相近。

然而，當機器人的行為被說明為「人類設計」的結果時，受測者的判斷顯著轉向義務論、規則式的道德推理。對於編程機器人的工程師，同樣出現較嚴格的道德限制。

意涵與未來方向

結果顯示，人們在知道 AI 具有人類設計背景時，會對其施加更高的道德標準，這暗示在高風險領域，AI 系統、其設計者與同等人類行為的道德評價可能不會收斂。此「對齊目標問題」需要在價值對齊理論中加以考量，尋求能兼容多元評價的框架。

延伸閱讀

• 行為協議框架（BPF）提升自主代理經濟的多元對策與透明度
• MAC‑Bench：透過 Agent‑as‑a‑Benchmark 測試多代理系統的合規與安全
• Trainee‑Bench：評估多模態大型語言模型在動態職場中的探索與持續學習能力

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。