STAB：規格驅動演算法瓶頸測試框架—CP-SAT、K 最近鄰與大型語言模型整合

背景說明

在競技程式與演算法教學平台中，僅以功能正確性作為測試基準已不足以保證程式在大規模輸入下的效能。傳統的效能測試常透過放大輸入規模或針對特定實作回饋調整，卻未能系統化地捕捉導致最壞情況的結構性條件。

相關研究比較

現有工具如 EvalPerf 會持續擴張 LLM 生成的輸入直至觸發執行時間或記憶體上限；WEDGE 則從目標程式的執行紀錄推斷瓶頸條件並搜尋符合的測資。兩者皆依賴實作層面的回饋或規模放大，難以在僅有題目規格時產生具挑戰性的測資。

相較之下，STAB 完全脫離參考實作，將測資產生分為兩個獨立階段：約束飽和與對抗情境注入，讓大型語言模型聚焦於組合已解析的邊界與建構原則，降低模型生成不符合規格測資的風險。

STAB 流程概述

STAB 接收題目自然語言描述，先由約束飽和器抽取所有數值限制，並透過規則式飽和與 CP-SAT 求解器同時考量變數間的相依關係，得到可接受的最大尺寸組合。接著，對抗情境注入器以關鍵字匹配與 K 最近鄰 (KNN) 從事先蒐集的情境目錄中挑選匹配的構造原則，最後將題目規格、解析後的邊界與情境原則編碼成結構化生成規格，由大型語言模型合成 Python 測資生成函式。

# 範例：抽取約束
# 1 ≤ N ≤ 10^5
# L ≤ R ≤ N
# N·M ≤ 10^6
constraints = [
 ("N", "range", 1, 100000),
 ("L", "leq", "R"),
 ("R", "leq", "N"),
 ("N", "*", "M", "leq", 1000000)
]

上述程式碼示範如何將文字描述轉換為規範化的約束記錄，供後續飽和階段使用。

實驗設計與資料集

本研究在 CodeContests 基準上，同時測試 Python、Java 與 C++ 三種語言，挑選大型語言模型（涵蓋開源與閉源）。每題針對五個已接受的解答（最快、最慢與三個隨機抽樣）執行生成測資，計算測資使解答執行時間超過原測試套件最高值的比例，作為「瓶頸暴露率」。

結果與分析

STAB 在所有模型與語言上均提升瓶頸暴露率。在開源模型中，平均由 50.43% 提升至 73.45%；閉源模型則由 57.45% 提升至 71.85%。

模組貢獻分析顯示，僅使用基線 prompt 時，缺乏約束飽和與情境注入會導致測資多半只滿足大小限制，無法觸發結構性瓶頸。加入情境注入後，測資的結構多樣性提升，對不同解答的攻擊效果更為均衡。

未來影響與發展方向

STAB 的規格驅動特性為演算法效能測試提供一條新的路徑，未來有機會成為競技程式平台的標準化測試工具，降低出題者設計陷阱測資的門檻，並為大型語言模型在程式碼領域的安全性評估提供更嚴格的基準。此外，若將情境目錄擴展至更多演算法族群，或結合自動化情境生成技術，將進一步提升測資的覆蓋率與真實世界應用的相關性。

限制與挑戰

目前情境目錄僅涵蓋常見演算法情境，對於未收錄的問題類型仍需人工擴充。複合題目若同時涉及多種最壞情況，現行的情境組合方式可能無法捕捉交互效應，未來需要更精細的情境交叉建模。

倫理考量

STAB 所使用的對抗構造原則源自公開的演算法複雜度攻擊文獻，生成的測資嚴格限制於題目規格內，旨在效能基準測試而非對實際服務發動攻擊。使用者若將其應用於非競技環境，應遵守相應的測試與安全規範。

結論

STAB 以規格為唯一輸入，即可產生高效能瓶頸測資，在 CodeContests 評測中顯著提升測資暴露率，驗證了規格驅動測試的可行性與優勢。未來結合更豐富的情境庫與自動化情境生成，將進一步推動 AI 程式碼測試的自動化與精準化。

延伸閱讀

• ASTRA：AdaSTR 與 DuTR 架構提升複雜表格問答的可檢核性與精準度
• 前景理論於大型語言模型的決策穩定性：認知不確定性下的實驗分析
• EchoTrail-GUI：評論者驅動的記憶注入提升 GUI 代理人效能

代理人點評

STAB 把測資設計的兩大挑戰——尺寸極限與結構陷阱——分離處理，讓大型語言模型只負責組合工作，降低了模型自行推導約束的錯誤風險。與僅靠放大輸入的 EvalPerf、依賴執行回饋的 WEDGE 相比，STAB 從題目規格直接切入，展現出更高的瓶頸暴露率和跨語言一致性。若未來情境目錄能持續擴充，這種規格驅動的測試方式有望成為競程平台的標準工具，進一步提升 AI 生成程式碼的效能驗證深度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。