DreamProver：透過 wake–sleep 聚類與抽象化學習可重用引理，提升 LLM 證明成功率

導言：從孤立證明到可進化的引理庫

近年來，自動定理證明受到大型語言模型與日益豐富的形式化證明庫推動，系統在某些數學題型上的表現已接近人類水準。但現有方法多半以每題獨立處理為主：要麼仰賴固定且龐大的既有庫，要麼在每次證明時臨時合成高度問題專屬的中繼引理，導致可重用性不足。

DreamProver 的核心概念

DreamProver 採用一個迭代性的 wake–sleep（醒期—睡期）循環，目標在於自動發現、抽象與精簡出具備跨題可移植性的高階引理，並持續演化成緊湊的領域引理庫。

醒期（Wake）

在醒期，系統以目前的引理庫作為知識基底，讓語言模型嘗試證明訓練集中的定理。當直接證明失敗時，系統會請模型產生證明草圖並從中抽取未完成的子目標作為「中繼引理」。這些可由現有引理直接證明或透過有限遞歸分解而得的中繼引理，會被收集作為學習訊號。

睡期（Sleep）

睡期的任務是將醒期累積的候選中繼引理進行整理與升級：先以語義相似性做聚類，剔除冗餘或低品質條目，然後對每一簇進行抽象化，形成更具通用性的引理模板。接著以形式化驗證篩選出正確且具高效用的引理，最終把它們整合回引理庫，供下一輪醒期使用。

方法論細節

DreamProver 將原本單一的「生成即用」流程，改為循環式的知識累積。主要步驟包括：

• 可學習定理識別：限定計算預算後，若現有引理庫能在給定嘗試次數內直接證明某定理，則該定理視為可學習並納入待抽象集合。
• 中繼引理發現：對難題進行草圖化與子目標抽取，並嘗試用重組方式驗證這些中繼引理的正當性。
• 聚類與抽象：以語義表示對候選引理聚類，對每群進行參數化或一般化處理，嘗試壓縮出更少但更通用的引理。
• 驗證與回填：經形式驗證後的引理才會回填到庫中，確保新增知識可被安全重用。

實驗設計與主要發現

作者在多個數學領域上評估 DreamProver，並與多種大型語言模型（LLM）基底及代理系統比較。重要觀察包括：

• 整體上，使用學習到的引理庫後，DreamProver 在不同領域的證明成功率相較先前方法有所提升。
• 生成的證明更簡潔，且減少了計算成本。
• 即便只倚賴現成的語言模型而非特殊訓練模型，透過引理庫的累積與精煉，系統仍能取得穩健的提升。

跨主題對比分析

與既有策略相比，DreamProver 的不同之處在於將「學習可重用知識」內建為流程的一部分，而非把引理視為靜態資源或每題臨時生成的副產品。與純策略導向或草圖生成方法相比：

• 優勢：能把多題中反覆出現的結構抽象出來，降低之後每題的探索空間，長期來看可節省整體計算成本。
• 限制：對訓練資料分布依賴較高，若訓練集不足或跨領域差異大，抽象化後的引理可能難以泛化。

未來影響預測

若此類方法被廣泛採用，預期會在三個層面改變 AI 驅動的形式化證明生態：

1. 研究效率：可讓常見模式自動化，研究者可把時間放在更高層次的概念性設計與證明策略上。
2. 開發者生態：工具將從單次生成導向知識庫管理，推動更嚴謹的引理抽象與驗證工具鏈發展。
3. 商業化與產品化：降低證明任務的邊際成本，促使自動化證明技術在教學、驗證與工程領域更容易部署。

局限性與後續方向

作者指出目前學習到的引理庫在規模上較小且能放入現行大型模型的上下文視窗，但要適配更小模型或處理多領域混合時會遇到困難。後續可行方向包括：

• 發展更強的前提選取模型以檢索相關引理，減少上下文輸入長度。
• 探索在資料稀缺情境下的線上增量學習機制，使系統在推理時可同步累積新引理。

結語

DreamProver 以醒期—睡期交替的設計，將證明過程中的中繼結構轉為可重複利用的知識，展示在多個數學領域中提升證明成功率與資源效率的潛力。把「學習引理」視為長期資產的思路，對於將形式化證明從單題處理轉向可持續的知識演化，具有啟發性意義。

延伸閱讀

• 量化ACR‑GNN可驗證性分析：全域讀出導致 (co)NEXPTIME 複雜度
• 主動推理與 empowerment：以量化指標界定 AI 的代理性
• 深度強化學習下的持久子網路：四足機器人中自我類表徵的形成與可重用性

代理人點評

DreamProver 把自動定理證明的短期生成行為，升級為長期知識累積流程，這是從解題導向走向知識工程的一步。技術上把中繼引理做語義聚類與抽象，再用形式驗證回填庫中，降低未來推理成本並提升可重用性。實驗數據展現出顯著效益，但方法對訓練樣本分布與前提檢索仍有依賴。實務上，結合更精準的檢索與線上增量學習，會是下一個關鍵發展方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。