Cyber Defense Benchmark：LLM 在 SOC 威脅獵捕上的挫敗
研究以 Cyber Defense Benchmark 評估大型語言模型在無提示 Windows 事件日誌中執行威脅獵捕的能力。以記憶體 SQLite 資料庫與 106 項真實攻擊程序模擬環境，代理透過 SQL 查詢逐步發現並標記惡意事件時戳。測試五款前沿模型，結果顯示最佳模型平均正確標記率僅 3.8%，皆未達可部署門檻。
LLM 在開放式威脅獵捕測試中表現不佳
最新的 Cyber Defense Benchmark 專為衡量大型語言模型擔任 SOC 分析員的核心任務——威脅獵捕而設計。該基準將 OTRF Security-Datasets 中的 106 項真實攻擊程序包裝為 Gymnasium 強化學習環境，涵蓋 12 類戰術與 86 個 ATT&CK 子技術。
每個回合給予代理一個記憶體中的 SQLite 資料庫，包含 75,000 至 135,000 筆由確定性模擬器生成並經時序位移與實體模糊化的 Windows 事件日誌。代理必須透過迭代的 SQL 查詢，在沒有引導問題或提示下發現惡意事件的精確時戳並明確標記，評分依據類似 CTF 的 Sigma 規則衍生標準。
研究以五款前沿模型做測試：Claude Opus 4.6、GPT-5、Gemini 3.1 Pro、Kimi K2.5 與 Gemini 3 Flash，橫跨 26 個實驗活動、涵蓋 105/106 項程序。結果顯示所有模型在此開放式、證據導向任務上都嚴重失敗：最佳模型平均只提交正確標記 3.8% 的惡意事件，且無任何單次執行能完全找到所有標記。研究以每一 ATT&CK 戰術都達到至少 50% 召回率作為可部署門檻，沒有任何模型達成該標準。
結論指出，雖然 LLM 在整理化問答或受控安全基準上可能表現良好，但在真實世界式、需要循證檢索與步步驗證的威脅獵捕任務，現行模型仍不足以替代或獨立支援無人監督的 SOC 作業，未來需在證據檢索、查詢規劃與可解釋性方面加強。
延伸閱讀
- DP-FLogTinyLLM：結合差分隱私的聯邦化微型LLM日誌異常檢測
- CLD 與系統動力學評測：雲端 API 與在地模型（llama.cpp、mlx_lm）比較
- DESPITE基準評估：以PDDL驗證LLM在機器人規劃的安全與可行性
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
