釣魚郵件偵測模型在對抗攻擊下準確率暴跌，研究揭示乾淨資料測試的盲點
釣魚郵件是持續存在的網路安全威脅，機器學習分類器廣泛用於偵測。一項研究比較 TF-IDF 邏輯迴歸與 DistilBERT 模型，兩者在乾淨資料上準確率超過 98%，但在對抗攻擊下分別跌至 64.00% 與 63.64%。結果顯示乾淨資料準確率無法預測對抗穩健性。
釣魚郵件一直是網路安全領域最頑固的威脅之一，機器學習分類器被廣泛用來偵測這類攻擊。然而，多數研究報告的偵測準確率，都是在乾淨、符合原始分布的測試資料上測得，而非針對刻意規避偵測的郵件。一項最新研究揭露了這個盲點。
研究設計與模型比較
這篇論文來自 ArXiv（編號 2607.18429），研究團隊進行了控制變因的成對比較，一方是 TF-IDF 結合邏輯迴歸的基準模型，另一方是微調後的 DistilBERT Transformer 模型。兩個模型都使用來自六個公開資料集、總計 82,255 封郵件的統一語料庫進行訓練，並在三種條件下評估：正常分布、合成釣魚郵件與對抗性釣魚郵件。
驚人的準確率落差
在乾淨資料上，兩個模型都繳出超過 98% 的亮眼成績。但一旦面對對抗性攻擊，TF-IDF 邏輯迴歸模型準確率驟降至 64.00%（下滑 34.59 個百分點），DistilBERT 則跌到 63.64%（下滑 35.40 個百分點）。兩者差距僅 0.36 個百分點，相當於 275 筆對抗樣本中只有一封郵件的差異。
模型脆弱性的根源
研究團隊進一步使用 LIME、SHAP 與注意力展開分析，發現兩種模型雖然依賴不同的證據來判斷郵件是否為釣魚郵件，但展現出相似的脆弱性。成對錯誤分析顯示，模型在 54.9% 的對抗樣本上意見一致，但各自有 24 與 25 個獨有的錯誤，這表示它們的失敗模式部分互補而非完全相同。
結論與建議
這項研究清楚指出，乾淨資料上的高準確率並不能保證模型在面對刻意規避的攻擊時依然可靠。研究團隊建議，對抗性測試應該成為釣魚郵件偵測模型評估的標準環節，否則現實部署中可能出現嚴重的安全漏洞。
延伸閱讀
- 多代理LLM在陪審團式審議的實驗：RLHF強度如何影響定錨與共識形成
- Truth or Tribe：LLM人格代理、TDR與TC揭示身分偏誤機制
- 階層化多重人物歸納與證據追溯：以意圖記憶與 DPO 優化人物品質
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
