SMARt:管理型自治架構,將失敗管理寫入自治生命週期
自主與代理型人工智慧在實際場域放大後,幻覺與不當持續行為成為挑戰。論文提出 SMARt 管理型自治框架,定義偵測認知漂移、暫停推理、嘗試恢復與放棄控制等行為,並以帶時限的受護 Petri 網給出形式化守則,主張把失敗管理納入自治生命週期以提升可治理性。研究也討論場域觸發集合的適配與安全擴展。
SMARt:將失敗管理寫進自治生命週期
隨著自主與代理型人工智慧在機器人和人機場域擴張,幻覺與持續的非預期行為愈發棘手。作者主張,不應僅把責任歸咎於模型或對齊限制,而要檢視「無界自治」的架構弱點──預設代理會在不確定性上升時持續運作。
論文提出「管理型自治」理論,定義智慧行為為具備偵測認知漂移、暫停推理、嘗試恢復及在可靠度衰退時交出控制的能力。為實作此一理念,提出 SMARt 模型,分為 Stable、Meta-cognitive、Assisted 與 Regulated 四層,並以受時限與護衛機制的 Petri 網給出形式化規範,藉此強制升級、限制無效輸出並保證治理可達性。
作者進一步分析,當領域觸發集合在各運域(例如醫療、機器人)被設計為完備與健全時,系統可系統性地維護安全,且觸發機制具適應性,容許代理在受控下擴張操作範圍。總結認為,把失敗管理正式化並納入自治生命週期,是邁向可靠且可治理人工智慧的重要步驟。
延伸閱讀
- 多代理LLM在陪審團式審議的實驗:RLHF強度如何影響定錨與共識形成
- Truth or Tribe:LLM人格代理、TDR與TC揭示身分偏誤機制
- 階層化多重人物歸納與證據追溯:以意圖記憶與 DPO 優化人物品質
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。