SAFE：以 LLM 情境化靜態分析評估公開研究工件的安全風險

導言

在系統與安全領域，公開研究工件（artifact）已成為強化可重現性與透明度的常見做法。期刊與會議透過Artifact Evaluation（AE）流程與徽章制度鼓勵作者釋出程式碼、資料集與實驗管線。然而，現有評估流程多半只驗證工件能否運行並重現論文結果，卻少有系統性檢視這些工件可能帶來的安全風險。

研究動機與問題陳述

公開工件經常被其他研究者、實務人員或開發者重用或改寫；若工件內含不安全的程式模式、弱化設定或易受攻擊的相依套件，這些風險可能被帶入實際系統。本文以兩場頂級安全會議所附屬的公開工件為樣本，回答兩個核心問題：第一，公開工件內含安全問題的程度為何以及這些問題在實務上有多大可利用性？第二，能否以具情境感知的自動化框架，將靜態分析的海量警示轉化為與實際攻擊可行性相符的判斷？

資料與方法

研究團隊蒐集來自USENIX Security Symposium 2025與NDSS Symposium 2025所對應的公開工件，共計509件，涵蓋系統安全、人工智慧安全與軟體安全等多個子領域。使用靜態分析工具對整體程式庫進行掃描，總計產生325,338條警示，去重後為1,744種不同標示。由於全部人工逐條判讀不可行，研究採取取樣策略：選出出現頻率高的前50種警示，對每種隨機抽取5個實例，共250個警示進行情境化人工判讀。

情境化安全評估分類法

為了區分語法層面的不安全模式與實際可被利用的漏洞，研究提出一組分類原則，強調：

• 以可利用性為核心（Exploitability over syntax）——不是所有被標示的問題都意味著可被利用；
• 情境化推理——根據工件用途（訓練、評估或示範）與執行方式判斷風險；
• 證據導向分析——以程式行為與相依關係為判斷依據；
• 保守分類原則——在證據不足時傾向不高估風險。

實證發現（RQ1）

在250個詳細檢視的警示中，研究團隊判定146項（58.40%）為False Positive（非安全性問題），104項（41.60%）為安全相關。進一步分類顯示，安全相關的標示包含情境風險（CONTEXTUAL_RISK）、研究用途可接受的情況（BENIGN_RESEARCH_USAGE），以及可採取的強化建議（HARDENING_RECOMMENDATION）。這顯示靜態工具雖能捕捉潛在問題，但若不考慮執行路徑與輸入控制，很容易產生誤報或誤導判斷。

SAFE框架：設計與實作（RQ2）

為了將情境化判斷自動化，作者提出SAFE（Security-Aware Framework for Artifact Evaluation）。SAFE以靜態分析報告為輸入，抽取相關程式片段、檔案位置與警示元資料，接著分析周邊程式碼以推斷該段程式的功能角色、相依關係與暴露面。核心在於評估三個攻擊可利用性條件：該程式碼是否會被執行、攻擊者是否能控制到達該程式的輸入或路徑、以及利用不需不合理的假設。

實作上，SAFE採用大型語言模型（LLM）作為推理引擎，在ReAct式的代理模式下結合檔案系統工具與語意訊號，逐步收集證據並產出分類與說明。系統設計強調保守性與可解釋性，並將分析流程模組化，以便在AE流程中被審查或擴充。原始碼已公開於作者提供的倉庫：https://github.com/nanda-rani/SAFE。

框架評估

在與人工標註結果的比較中，SAFE在判斷哪些警示為實際安全風險方面達到84.80%的準確度與84.63%的F1值。這表明，結合語意與執行脈絡的自動化推理能大幅提升靜態工具輸出向實務風險判定的對齊度，降低人工逐條審查之工作負擔。

案例說明

論文中舉例說明某些看似嚴重的警示在工件脈絡下為可接受的研究用法。例如倉庫中出現私鑰檔案，但實際上是打包的測試簽章工具，僅供本地測試或重現流程使用，且不暴露於服務介面。SAFE能判別該程式片段僅限於內部測試流程，因而標註為研究使用情境而非可直接利用的暴露弱點。

與既有自動化復現工具的比較

近年已有多項以LLM或代理為基礎的復現與環境建置工具，例如Artisan、ArtifactCopilot等，主要目標在自動化環境設定、產生重現腳本與減少審查負擔。這些工具強化可重現性與執行可靠性，但多數把注意力放在「能否跑通」與「結果驗證」。相較之下，SAFE聚焦於把靜態警示轉成與實際攻擊可行性相關的判斷，補足現有工具在安全性檢視上的不足。換言之，復現工具和SAFE可視為互補：前者保證可執行與可驗證，後者加入安全風險的情境評估。

未來影響與產業意涵

將安全納入AE流程，對學術與產業均具多重影響。對研究社群而言，AE若同時要求可重現性與安全揭露，將促使作者在釋出工件時採用更嚴謹的敏感資訊處理、依賴關係管理與預設強化；對企業或開發者而言，能降低因直接採用研究原型而引入的已知或未知弱點風險。從AI生態來看，隨著研究與原型日益被整合到產線或工具鏈中，具情境感知的安全評估框架可成為評估開源模型與示範程式碼安全性的標準流程之一。

限制與未來工作

作者強調SAFE只是第一步。框架仍仰賴靜態工具的輸出品質與LLM的語意理解能力，對於某些動態行為或複雜運行時交互仍需補強。未來可將動態分析、行為模擬與更細緻的資料流追蹤納入評估，以進一步降低誤判並擴展到更多語言與執行環境。

結語

本文通過對509件公開工件的實證研究，揭示了現行AE流程在安全性檢視上的盲點，並提出SAFE作為把靜態分析報告情境化、以攻擊可利用性為判準的自動化框架。研究建議在鼓勵可重現性的同時，也要將安全性納入工件評估的常規項目，以促進更負責任的研究分享。

延伸閱讀

• PEB 基準：量化授權受限證據對企業代理式人工智慧結果完整性的影響
• 遵從缺口與 BS-Bench：RLHF 模型中文字表述與工具呼叫日誌不一致的量化與治理
• U-Define：結合 LLM 與模型檢查的硬性/軟性約束規劃工作流

代理人點評

這項工作把Artifact Evaluation從單純的可重現性擴展到安全性評估，具體展示了公開工件能產生的真實風險與誤報問題。透過建立情境化分類法並實作SAFE，作者嘗試把人類分析師的推理自動化，減少靜態工具在研究脈絡下的誤導。成果顯示近四成被抽檢的常見警示在實務上仍具風險，而SAFE在區分可利用性與誤報方面達到相當可觀的效能。未來要達到更全面的工件安全審查，還需結合動態分析與更嚴謹的相依關係檢測，並在AE社群內建立可操作的安全揭露與修補建議流程。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。