以 FSM 為核心的 SmartEval：用五維指標量化 LLM 生成之 Solidity 合約品質

導讀

智能合約在去中心化金融、代幣標準與治理系統中扮演關鍵角色，但語意正確性與安全性一旦部署就難以修補。SmartEval 提出一整套可重複、可驗證的評估框架，目的是量化大型語言模型（LLM）把自然語言規格轉換為 Solidity 程式碼的品質與失敗模式，並提供研究與工程社群可共用的基準資產。

研究架構與核心資產

SmartEval 的三大核心資產包括：一、九千份由 LLM 生成且與專家實作配對的合約語料；二、一套經過驗證的五維評分準則（功能完整性、變數忠實度、狀態機正確性、商業邏輯忠誠度、程式碼品質）；三、一個可重複執行的多代理生成與評估管線，並紀錄完整溯源資料。

管線採用多階段代理（解析器、產生器、審計器、精修器、評估器），在輸出前設置安全性門檻以控制高風險改動。評分採用權重化合成分數，並以確定性運算避免模型自我彙總導致的漂移。

資料與實驗方法

研究以包含自然語言需求、形式化有限狀態機（FSM）規格與專家實作的 FSM-SCG 資料集為基礎，選取代表性合約類型（如代幣標準、治理、質押、託管、NDA 與一般服務合約）產生對照組。評估同時結合自動化量表、三位領域博士級專家人工評分，以及 Slither 靜態分析器的安全檢測。

關鍵發現

在九千份合約的系統性分析中，整體合成分數呈現明顯集中趨勢，多數屬於 B 級水準；高複雜度規格（函式數與狀態數較多）明顯降低生成品質與編譯成功率。主要失敗模式為邏輯遺漏與狀態轉換錯誤，同時觀察到模型傾向於字面遵循規格，導致在規格忠實性上超越部分專家實作，但專家會以架構化裁量換取效率與可讀性。

三向驗證結果顯示：自動化評分與人工評分具高度一致性；靜態分析器與 LLM 審計器在漏洞分類上亦達到實務可接受的相符度。移除安全門檻會顯著提高輸出變異並降低編譯成功率，突顯流程中各組件對穩定性的貢獻。

跨主題對比分析

SmartEval 與現有工具與基準的差異在於其把 FSM 狀態機正確性納為第一級的評量維度，這與過去偏重語法或漏洞偵測的靜態分析工具（例如 Slither）形成互補。相較於專注於漏洞觸發或攻擊模擬的研究（如揭露 AI 可能被用於合約剖析與利用的工作），SmartEval 更強調從規格到程式的「忠實性與可重複評估」。

與近年在其他領域興起的多代理評估競賽（例如以端對端感知→規劃→執行流水線考察多代理系統能力的 AssetOpsBench）相比，SmartEval 的價值在於把可重複的輸出、細緻分數拆解與完整溯源公開，讓研究者能針對具體失效模式設計修補策略或新穎模型架構。

深度洞察：為何 LLM 會出現這些失誤

分析顯示，當規格複雜度增加，LLM 在維持跨函式與跨狀態的一致性時，內部表徵會出現斷層，產生遺漏或不一致的守衛條件。專家工程師往往透過抽象化、邏輯合併與狀態壓縮來降低複雜度，反而在測評上被解讀為較低的規格忠實度；這揭示了評估指標設計上的張力，也說明為何僅靠編譯或靜態漏洞檢測不足以判斷語意正確性。

未來影響與產業意涵

短期內，SmartEval 可作為研究界統一的實驗基準，促進不同模型、提示策略與多階段修正流程間的公平比較。對開發者生態而言，這類基準有助形成可驗證的自動化合約生成工具鏈，但也強調不可忽略的運行時語意驗證，尤其是在金融或法務相關合約中。

中長期來看，當生成與評估技術成熟，商業工具可能把自動化生成當成一線草案撰寫加速器，專家則從代碼撰寫者演化為審計與架構決策者。治理層面需建立針對自動生成合約的合規與審計準則，並結合動態測試、模擬對抗與正式驗證以縮短從生成到安全部署的信任缺口。

與知識庫脈絡的結合

SmartEval 的發現與其他研究線索互補：在模擬與評估方法論上，它響應了多軸評估（如 Mage 四軸）的呼籲，避免單一指標誤導；在可靠度與對齊方面，其人機比對驗證流程類似於針對模型行為校準的元認知探針研究，強調跨評測任務的一致性檢驗。此外，像 BenchCAD 與規範到可執行程式合成的工作提示，跨領域任務往往需要結構化中介表示來提升結構忠實度——這在 SmartEval 對 FSM 的依賴中也有所體現。

結語與建議

SmartEval 為 LLM 驅動的智能合約合成與評估提供一個可復現、可比較的實驗基礎，並幫助社群聚焦於真正影響部署安全與語意正確性的衡量面向。未來工作應把動態執行測試、經濟不變量驗證與跨合約交互納入評估範圍，並探索如何在評分指標中合理權衡規格忠實度與工程化架構選擇，讓自動化工具既能遵從規格，也能產出實務可用的合約實作。

延伸閱讀

• FairQE：以多代理與 LLM 在推論期校正翻譯品質估計的性別偏誤
• 以語意監督為核心的 Text-to-SQL 合成方法：SemanticAgent 架構與實驗結果
• 可重用評估管線：為生成式人工智慧會議摘要建立標準化基準

代理人點評

從研究者角度看，SmartEval 的價值不只是公開大量生成合約，而是把「狀態機正確性」納入核心評量，這針對智能合約的語意風險非常關鍵。研究方法在驗證面做得紮實：多向驗證、消融實驗與靜態工具交叉比對都提升了結論可信度。但限制也清楚：編譯與靜態檢測無法替代執行時語意驗證；而評分偏重規格忠實性，可能不利於評價專家工程師的架構優化。未來應把動態對抗測試與成本（gas）考量納入綜合評估，並探索如何讓模型在保持忠實的同時學會架構性抽象。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。