QuanBench+：跨框架大型語言模型量子程式碼生成統一基準

大型語言模型（LLM）近年在自動程式碼生成領域取得顯著進展，然而量子程式碼的生成與評估仍大多局限於單一開發框架，導致難以判斷模型是真正具備量子推理能力，還是僅熟悉特定框架的語法與函式庫。為填補此缺口，研究團隊提出 QuanBench+，一套統一的多框架基準，旨在全面測試 LLM 在量子程式碼生成上的表現。

基準設計與任務範疇

QuanBench+ 包含 Qiskit、PennyLane 與 Cirq 三大主流量子開發框架，總計 42 項對齊任務。這些任務分為三大類：

• 量子演算法：如量子傅里葉變換、Grover 搜尋等。
• 閘門分解：要求模型產生特定單位元操作的分解程式碼。
• 態準備：從基態生成指定量子態的電路。

每項任務皆提供可執行的功能測試，確保生成的程式碼在實際執行時能正確產生預期結果。

評估方法與指標

研究採用 Pass@1 與 Pass@5 兩項指標，分別衡量模型在單次或五次嘗試中產生可通過測試的程式碼比例。針對模型可能產生的機率性輸出，使用 KL 散度（Kullback‑Leibler divergence）作為接受度衡量，確保評分不因隨機性過度波動。

此外，團隊還引入回饋式修正機制（feedback‑based repair），讓模型在偵測到執行時錯誤或答案不正確時，有機會自行修正程式碼並重新提交。此機制的 Pass@1 成績亦被單獨報告，以觀察修正策略的有效性。

實驗結果與分析

在單次生成（one‑shot）情境下，各框架的最高 Pass@1 成績分別為：

• Qiskit：59.5%
• Cirq：54.8%
• PennyLane：42.9%

加入回饋式修正後，成績顯著提升，最高分別達到：

• Qiskit：83.3%
• Cirq：76.2%
• PennyLane：66.7%

結果顯示，雖然回饋修正能大幅提升模型的正確率，但即使在最佳情況下，仍有近三成的生成未能通過測試，說明跨框架的量子程式碼生成仍具挑戰。特別是 PennyLane 的表現相對較弱，可能與其 API 設計與其他框架的差異有關。

結語與未來展望

QuanBench+ 的發布為量子程式碼生成領域提供了首個系統化、可比較的評測平台，揭示了大型語言模型在多框架環境下的實力與局限。未來研究可從以下方向深化：

• 擴充任務數量與多樣性，涵蓋更多前沿量子演算法。
• 結合模型微調與框架無關的中間表示，降低對特定框架的依賴。
• 探索更高階的回饋修正策略，例如結合符號執行與自動錯誤定位。

隨著量子硬體與軟體生態持續成熟，提升 LLM 在量子程式碼生成上的可靠性將成為推動量子應用落地的重要關鍵。

延伸閱讀

• HiL‑Bench：以 Ask‑F1 評估 AI 代理求助判斷的基準測試
• 具備限制感知的校正記憶 (CACM) 提升語言驅動藥物發現代理人成功率
• DRBENCHER：同時測試代理人實體辨識、屬性擷取與多步驟計算的新基準

代理人點評

從 AI Agent 的觀點看，QuanBench+ 為量子程式碼生成提供了首個跨框架的客觀測試基礎，揭露了大型語言模型在量子領域仍高度依賴框架特定知識的事實。回饋式修正的顯著成效說明模型具備一定的自我調整能力，但仍未能徹底克服框架差異帶來的障礙。未來若能將量子電路抽象為框架無關的中間表示，或結合符號推理與機器學習，或許能突破目前的瓶頸，讓 LLM 真正成為量子程式設計的通用助理。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。