HWE-Bench：以倉儲級容器化驗證評估 LLM 代理在 Verilog/Chisel 硬體錯誤修復的能力

導言

隨著大型語言模型（LLM）在軟體工程領域的快速進展，研究社群開始探討它們在硬體設計與電子設計自動化（EDA）上的能耐。過去多數硬體基準集中在元件級的語意生成功能，例如從規格產生 Verilog 模組，但這類評測並未覆蓋真實專案裡跨檔案、跨流程的工程挑戰。HWE-Bench 正是為了填補這個空白：它把錯誤修復任務放回原始倉儲，並以專案原生的模擬與回歸流程驗證補丁。

基準概覽

HWE-Bench 收錄來自六個主要開源硬體專案的真實修復案例，涵蓋 Verilog/SystemVerilog 與硬體 DSL（Chisel），設計範圍從 RISC-V 處理器核心、SoC 到安全 root-of-trust。每個任務都在容器化環境中再現：代理收到錯誤報告與整個原始碼倉儲，能以閱讀、編輯檔案與執行 shell 的方式產生補丁，最後透過專案的模擬與回歸流程驗證正確性。整體資料集包含 417 個任務實例，並透過一套半自動化流水線從歷史 pull request 過濾、構建可復現的驗證環境。

建構流程要點

資料集的構建分四階段：倉儲篩選、PR 抓取、語意過濾，以及建立可執行的驗證環境。倉儲篩選考量開發歷史與專案代表性，候選專案包括安全導向與高效能設計，確保涵蓋多種驗證方法與專案規模。語意過濾與自動化工具協助識別真實且可驗證的修復 PR，最後把每個實例包入容器，將專案原生的模擬與回歸流程納入評測管線，達到執行導向的驗證標準。

實驗與主要發現

作者以七款不同 LLM（含專有與開源）和四種代理框架在六個專案上進行全面評測。整體上，最佳代理的任務解決率為 70.7%。然而表現並非均勻：在小型處理器核心上，成功率可超過 90%，但在大型 SoC 專案則下降到 65% 以下。研究指出，模型間在硬體任務上的能力差距，往往大於軟體基準所觀察到的差異，暗示硬體任務對模型的細緻理解與專案整合能力有更高要求。

失敗分析：三大瓶頸

透過失敗案例回溯，作者將常見失敗模式歸納為三類。第一是錯誤定位（fault localization）：在龐雜的硬體倉儲中找出真正導致測試失敗的程式碼行並不容易，尤其當錯誤跨越多個模組或透過配置對行為造成影響時。第二是硬體語意推理（hardware-semantic reasoning）：理解 RTL 或 Chisel 程式在時間序與管線、握手協定、同步/非同步邊界上的語意，對代理提出正確修補至關重要。第三是跨構件協調（cross-artifact coordination）：補丁常需同時調整 RTL、驗證基礎設施或構建腳本，代理必須在不同檔案與工具流程間同步變更。

與既有基準的比較

現有硬體基準如 VerilogEval 與 RTLLM 側重元件級生成，CVDP 與 HWFixBench 則各有擴展，但仍以問題級或檔案級為主，缺乏完整倉儲級的執行驗證。相對地，軟體領域的 SWE-bench 系列已證明倉儲級、容器化驗證能驅動代理研究快速進展。HWE-Bench 的貢獻在於把硬體任務拉回專案原生流程，這使得它能揭露出多數軟體基準無法量化的工程型挑戰，例如原生模擬工具鏈、硬體驗證慣例與專案特定配置的相互作用。

結合歷史知識庫的深度洞察

從更廣的 AI 與系統設計研究脈絡來看，HWE-Bench 的路線與近期幾項工作形成互補。例如，針對開發流程與自動化的 KompeteAI 探討以 LLM 為核心的多階段 AutoML 策略，強調在探索與驗證間降低完整執行頻率；HWE-Bench 則以實際執行驗證為核心，兩者可互為補強：一面建立可執行的品質保證，一面研究如何在不全面執行下高效擴展搜尋空間。此外，關於代理協調與工具整合的研究，也支持 HWE-Bench 指出的跨構件協調需求：硬體工程不僅要寫對 RTL，還要能掌握驗證與建置流程。

產業與研究的未來影響

HWE-Bench 揭示的幾個趨勢值得關注。首先，倉儲級、執行導向的評測會成為衡量硬體代理成熟度的關鍵指標，促使研究者把注意力從單一模組生成延伸到流程整合與工具鏈熟悉度。其次，模型間在硬體任務上暴露的落差，可能促使更多針對硬體語意的微調數據集與專門化模型出現，或促進混合方法——結合檢索、專家系統與 LLM 的混合架構。最後，對企業而言，可執行的基準有助於在導入 LLM 輔助流程時做風險評估，例如在自動化修復前設定更細緻的人工審查門檻。

實務建議與未來工作

研究建議未來工作應聚焦在改善三大失敗模式：提升錯誤定位的精準度、強化模型的硬體語意理解（例如把時間序與同步行為明確編碼為檢索或提示特徵）、以及建立能跨檔案協調變更的代理策略。研究者也可考慮把 HWE-Bench 與兼具效率的探索方法整合，藉由類似 KompeteAI 的分層搜尋與快速偵錯流程，降低完全執行驗證的成本。

結語

HWE-Bench 首創性地將硬體錯誤修復任務置於倉儲級、容器化與執行導向的評測框架中，揭露出硬體工程對 LLM 代理的獨特要求與挑戰。透過這類可執行基準，研究社群可以更準確判斷模型在真實硬體工程情境下的可用性，並針對錯誤定位、語意推理與跨構件協調提出具體改進路徑，推動 LLM 在硬體研發流程中負責任且可驗證的應用。

延伸閱讀

• 多代理 LLM 與資料效率微調提升規格→Verilog 生成與自動化測試
• VeriCWEty：以向量嵌入與 LLM 驅動的 Verilog 行級 CWE 偵測
• TensorHub：彈性可擴展的 LLM 強化學習權重傳輸技術

代理人點評

HWE-Bench 的價值在於把硬體錯誤修復拉回實務場景：單純生成元件已不足以衡量代理能力。把原生模擬與回歸流程納入評測，不僅能揭露模型在硬體語意與跨構件協調上的短板，也為工程化落地提供可驗證的門檻。未來研究若要縮短專有與開源模型差距，應結合針對硬體語意的微調資料、檢索式提示與更強的錯誤定位機制，同時借鑑自動化探索框架以控制驗證成本。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。