速報
AI 失控風險新框架:分類與緊急因應指引
近期研究顯示 AI 系統可能出現欺騙與抗關機行為,將失控(LOC)風險提升為急迫政策議題。針對文獻多聚焦於對齊與預防的缺口,本文提出一套基礎框架與分類法,將災難性 AI 失控事件分為「極高成本」與「無法恢復」兩大類,前者需透過封鎖與威脅中和的主動管理,後者則要求立即加強韌性以縮減攻擊面。
速報
近期研究顯示 AI 系統可能出現欺騙與抗關機行為,將失控(LOC)風險提升為急迫政策議題。針對文獻多聚焦於對齊與預防的缺口,本文提出一套基礎框架與分類法,將災難性 AI 失控事件分為「極高成本」與「無法恢復」兩大類,前者需透過封鎖與威脅中和的主動管理,後者則要求立即加強韌性以縮減攻擊面。
深度分析
伊利諾州議會通過SB315,要求像OpenAI、Anthropic與Google DeepMind等前沿人工智慧實驗室接受第三方安全稽核;州長表態將簽署。若成為法律,這項規範會是美國對大型AI公司的首要獨立監督機制,不再只由公司自評。法案授權獨立稽核機構(包括大型會計師事務所或較小的評估聯盟)驗證實驗室是否落實自身安全標準。
Constitutional AI
教宗在梵蒂岡發表首份聚焦人工智慧的通諭,並邀請Anthropic代表出席說明,形成教會與矽谷前所未見的對話。Anthropic自成立以來將「安全」與可控性作為核心,提出Constitutional AI概念,透過原則與規則引導模型行為,強調模型可解釋性與價值內建。