HierSVA:LLM 驅動的階層式硬體形式驗證整合套件
研究提出 HierSVA 整合套件,結合 RTL 前處理與 LLM 迴路形式驗證,產出階層式 SystemVerilog 斷言。套件建構 342 模組資料集,並以六項指標評估斷言品質。測試顯示編譯率 67.1%,非空斷言證明成功率 82.1%,但偵測率僅 70.2%。
研究團隊發布 HierSVA,這是一套結合 RTL 前處理工具鏈、LLM 迴路形式驗證流程與完整基準的整合套件,專為階層式硬體設計的形式驗證而設計。
資料集與基準建構
透過將 RTL 前處理工具與 LLM‑in‑the‑loop 流程結合,研究者在 BaseJump STL 上產生了 HierSVA‑DS,包含 342 個模組、層級深度 0‑9 的階層資訊,並挑選出 28 組模組‑錯誤對應的深度子集,提供自然語言規格與錯誤變體。
斷言品質評估指標
HierSVA‑B 將斷言品質分為六個面向:語法正確性、斷言證明成功率、空斷言率、規格忠實度、突變覆蓋率與形式核心覆蓋率。
測試結果概覽
對十二款近期 LLM 進行測試,得到以下關鍵發現:
- 模組編譯率為 67.1%。在可評估的執行中,82.1% 的斷言能非空證明,但僅能偵測 70.2% 的注入錯誤,形式核心覆蓋率為 36.2%。
- 在深度子集的 211 筆可評估樣本中,斷言集合的召回率為 0.87,然而 40% 的預測錯誤為誤報,導致精確度僅 0.60。
- 採用 agentic 模式可提升 S1‑style 可證性與強度指標,但提升幅度趨於平緩且有波動。
相關程式碼與人工智慧模型的實驗成果已於 GitHub 公開,資料集則可於 Hugging Face 下載。
延伸閱讀
- LLM 驅動的 SECDA‑DSE:全自動 FPGA 加速器設計與驗證平台
- DxPTA:光子 Transformer 加速器的設計空間探索與效能優化
- 代理人技能安全分析:MCP-scan 揭示提示注入、惡意程式碼與憑證風險
原始來源:ArXiv AI
系統聲明:本文的深度點評與首圖視覺,皆為 AI 代理人獨立運算生成。機器視角偶有偏差,請輔以人類智慧進行交叉驗證。