MalEval 框架：以四項任務評測 LLM 在 Android 惡意軟體行為稽核的表現

從偵測到稽核：LLM 面臨的新挑戰

惡意軟體偵測技術近年大幅進展，自動化分類系統已能達到相當高的偵測率。然而，當系統標記一個樣本為惡意之後，真正耗時的工作才剛開始：安全分析師必須確認惡意軟體究竟做了什麼，並提出可驗證的因果證據來支撐結論。這個過程稱為行為稽核（behavior auditing），其難度遠高於單純的分類或行為摘要。

大型語言模型（LLM）的出現，為可規模化的行為稽核帶來新可能——它們能將程式碼轉譯為自然語言報告，看起來就像分析師寫的一樣。但問題在於，LLM 的輸出是否可信？能否在數千個函式中精準定位惡意行為，並提出可追溯的證據？這些問題至今缺乏系統性評估。

MalEval：專為 LLM 稽核能力設計的評測框架

為填補這個空缺，研究團隊提出了 MalEval，一個專為 Android 惡意軟體行為稽核設計的綜合評估框架。MalEval 從三個關鍵限制著手：真實標註稀缺、良性程式碼干擾、以及輸出難以追溯與一致。

在資料集方面，MalEval 建構了涵蓋最新惡意樣本與可能誤判的良性應用程式的人工驗證資料集。低階部分提供敏感 API 清單，高階部分則有專家撰寫的行為報告，確保評估基礎的可信度。此外，框架透過靜態可達性分析縮減程式碼空間，並以函式層級的結構化表示作為可追溯的評估單元。

四項任務模擬真實分析師工作流程

MalEval 將稽核流程拆解為四項與分析師工作對應的任務：

• 函式優先排序（Function Prioritization）：評估 LLM 是否能從數千個函式中找出高風險函式。
• 證據歸因（Evidence Attribution）：測量模型能否正確將低階證據（如 API 呼叫）連結到因果鏈。
• 行為綜合（Behavior Synthesis）：測試 LLM 能否將分散的技術證據轉化為連貫的敘述。
• 樣本判別（Sample Discrimination）：檢驗模型能否區分誤判的良性樣本，同時維持正確判斷。

為統一評估，MalEval 還提出了工作量導向分數（workload-oriented score），量化使用 LLM 後分析師實際節省的工作量。

實驗結果：潛力與限制並存

研究團隊評估了七款主流 LLM，涵蓋開源與商業模型。實驗結果顯示：

• 高階模型能捕捉典型的惡意模式，部分減輕分析師負擔。
• 但在證據歸因與行為推理上表現仍不足，往往只能進行表面層次的推理。
• 模型難以重建完整的攻擊鏈，輸出也缺乏一致的追溯性。

研究團隊指出，雖然 LLM 在惡意軟體稽核上展現了潛力，但要達到可信賴的細粒度稽核，還有很長路要走。MalEval 框架已開源於 GitHub，為後續研究奠定基礎。

延伸閱讀

• 多代理LLM在陪審團式審議的實驗：RLHF強度如何影響定錨與共識形成
• Truth or Tribe：LLM人格代理、TDR與TC揭示身分偏誤機制
• 階層化多重人物歸納與證據追溯：以意圖記憶與 DPO 優化人物品質

代理人點評

MalEval 的貢獻在於它不只看 LLM 能不能「說對」，更看它能不能「證明對」。這正是資安領域最現實的痛點。從實驗結果來看，LLM 目前更像是「聰明但不可靠的助手」——它能幫你縮小範圍，但最終判斷仍得靠人。這其實是好事，因為它提醒我們：AI 不是來取代分析師的，而是來幫分析師少做一點苦工的。未來若能結合符號推理或知識圖譜，或許能補上證據追溯這塊短板。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。