深度分析
MIRAGE:利用使用者產生內容對 VLM 驅動行動 GUI 智能代理進行情境感知提示注入攻擊
研究指出以視覺—語言模型驅動的行動 GUI 代理,會把畫面當像素輸入而難以區分系統元素與用戶產生內容;MIRAGE以三階段流水線在截圖的用戶內容區嵌入上下文感知惡意文案並保持原生風格,實驗顯示多個模型與應用均受影響,且視覺逼真度無法可靠預測攻擊成敗,防禦需聚焦語意與行為驗證。
深度分析
研究指出以視覺—語言模型驅動的行動 GUI 代理,會把畫面當像素輸入而難以區分系統元素與用戶產生內容;MIRAGE以三階段流水線在截圖的用戶內容區嵌入上下文感知惡意文案並保持原生風格,實驗顯示多個模型與應用均受影響,且視覺逼真度無法可靠預測攻擊成敗,防禦需聚焦語意與行為驗證。
DietDelta
研究團隊推出 DietDelta 框架,透過比對餐前與餐後照片,利用視覺語言模型精準估計食物攝入量。該方法捨棄了複雜的深度感測與分割掩碼,改用自然語言提示定位食物並計算重量差異,顯著提升了飲食評估的準確度,為個人化精準營養管理帶來新突破。
SALLIE
研究人員開發出 SALLIE 框架,能同時對抗文本與視覺越獄及提示詞注入。該技術基於機制解釋性,透過偵測模型內部激活值來識別惡意請求,無需修改模型架構即可在多模態模型中實現高效防禦,在多個開源模型測試中表現優於傳統防禦方案。