飽和式冪律與平均場模型：在算術、布林與串列基底的符號發現成長分析

飽和式冪律：確定性等式發現的成長定律分析

近年來規模定律（scaling laws）成為深度學習工程的重要參考，但對於符號發現類的確定性系統是否存在類似刻畫仍不明。本文以三個玩具基底──算術（arith）、布林（bool）、以及高階串列（list）──的成長軌跡為樣本，嘗試建立一套現象學（phenomenology）來描述其規模隨時間的演化。

研究動機與問題設定

符號發現系統會隨著驗證通過的規則或程式增加而成長，但成長曲線是否能被簡單函數族統一描述？若能，這將有助於預測、架構選擇與資源配置。作者關注兩類函數：短期常見的純冪律 N(t) ∝ t^b，以及一個帶飽和項的封閉式平均場模型 dN/dt = K·N^k·e^{-μN}，後者在 N → 1/μ 附近會出現成長放緩。

方法概要

研究設計包含：

• 三個玩具基底上的大量獨立軌跡（共 n = 592），操作不同生成器、過濾器、遞迴深度、批量大小與隨機種子等架構變項。
• 對每條軌跡在短期範圍內用最小平方法擬合純冪律 a·t^b，記錄指數 b 作為成長速率指標。
• 提出平均場封閉模型，並用參數 (K,k,μ) 去擬合長期成長，檢驗是否能改善外推預測。
• 跨基底的回歸測試：以梯度提升回歸（five-fold CV）用五個架構特徵預測 b，並檢驗模型在不同基底間的移植性。

平均場封閉模型（phenomenological closure）

在簡化假設下（近似獨立、均勻覆蓋），作者推得一個啟發式的增長方程：

dN/dt = K·N^k·e^{-μN}

此式中，當 N 很小時指數項近似為 1，方程退化為純冪律的短期近似；當 N 接近 1/μ 時，指數衰減使得成長出現飽和。作者透過參數擬合與穩健性檢測（bootstrap 置信區間、外樣本預測）來評估該形式在不同資料集上的適配度。

實驗與主要發現

關鍵觀察如下：

1. 短期冪律：在 344（arith+bool）與 248（list）條短期軌跡中，N(t) 在短時間尺度普遍可被 t^b 描述，b 值在不同架構下呈連續分佈。
2. 基底內可預測性：以五個架構特徵做回歸能在同一基底內預測 b；arith+bool 與 list 的交叉驗證 R^2 約為 0.82，顯示架構參數對短期成長指數有解釋力。
3. 跨基底移轉失敗：把在 arith+bool 上訓練的回歸用於預測 list 的 b，結果極差（R^2 負值），代表架構到 b 的映射受基底類型強烈制約，加入基底類別為特徵後可恢復較高 R^2。
4. 飽和模型的條件性：在玩具資料上，外樣本預測（先用前 100 個 epoch 擬合，預測後 400 個）顯示純冪律外推勝出，暗示玩具軌跡在 ≤500 epoch 未達飽和。相對地，在兩個真實成長代理（以月度新增文件或提交數為代理）上結果分歧：mathlib4 的月新增 .lean 檔案數外推顯示支援飽和形式，而 Coq mathcomp 的月提交數則較支持純冪律（擬合時 μ→0）。

重點方法片段（摘要化演算法）

function Discover(D, G, F, d, K, T):
 S ← InitialRules(D)
 pool ← ∅; freq ← ∅; sizes ← []
 for t = 1..T:
 cands ← [G(pool,freq,d) for 1..K]
 nfs ← [Normalize(c,S) for c in cands]
 Gs ← GroupBy(cands,nfs)
 for g in Gs with |g| ≥ 2:
 ℓ' ← argmax_{x∈g} |x|; r' ← argmin_{x∈g} |x|
 if Sound(ℓ',r') and |ℓ'| > |r'|:
 (ℓ,r) ← Generalize(ℓ',r')
 if F.Passes(ℓ,r,S): S ← S ∪ {(ℓ,r)}
 pool ← pool ∪ Subterms(ℓ') ∪ Subterms(r')
 freq ← Increment(freq,pool)
 sizes.Append(|S|)
 return S, sizes

與既有方法與歷史脈絡的比較

將本工作與歷史上以生成式模型或自動化搜尋輔助數學/程序發現的努力相比，可觀察到幾個路徑差異：

• 技術路線：本研究側重確定性、符號層的增長行為刻畫；相較於以大型語言模型（LLM）驅動的自動化搜尋（如結合 SAT 求解器與 LLM 的近年工作），本文提供的是一個現象學框架，而非直接的生成代理。
• 功能差異：LLM 或混合神經符號系統強調隨機化與語意引導的候選生成；本文考察的生成器類型（random、compositional、freq、mdl_greedy）則揭示不同重組深度 k 對成長速率的影響，兩者在參數定義與 μ 的解釋上需不同處理。
• 驗證與形式化：歷史知識庫中的成果（例如以 LLM 作為程式變異代理、並結合形式化驗證的工作）展示把生成與可驗證證明鏈接起來的可能性；本研究的飽和模型可視為給這類工具鏈的一個宏觀成長預期，有助於判斷何時會進入資源瓶頸或覆蓋飽和階段。

未來影響與實務意涵

若此飽和式成長模型在更多實際系統上成立，將對符號 AI、程式合成與形式化數學工具鏈產生多重影響：

• 設計策略：可用於調整生成器與過濾器策略，避免早期過度探索或在接近飽和時改用更具探索性的變異。
• 資源規劃：長期外推若顯示飽和，工程團隊可提早投入語法或類型約束改造，而非盲目增加計算資源。
• 評估基準：基底條件性提醒研究者在跨領域比較模型時應慎重，評估指標需考慮資料生命週期與代表性。

限制與未來工作

作者自明指出多項限制：實驗以玩具基底為主、飽和參數 μ 在短期軌跡上難以識別，以及現有推導在更複雜、隨機或神經指導的生成器上的延伸尚未完成。具體可擴展的方向包括：在非玩具的軌跡層級上複製研究、從文法統計推導 μ 以進行可檢證的跨基底預測、以及測試神經輔助發現系統中的 μ 定義與行為。

結語

本文提出「基底條件化的飽和式冪律」作為描述確定性等式發現成長的一個工作框架。它既承認短期純冪律的實用性，也提醒研究者在長期外推時考慮飽和與基底差異。這對於規劃符號發現系統、整合生成與形式化驗證、以及理解大型數學資源的成長動力，都提供了可操作的思路。

延伸閱讀

• BERT-as-a-Judge：以參考答案降低大型語言模型評估成本的實驗驗證
• 案例導向證據驗證：提升醫學影像與自然語言推論的可靠性
• Persona‑E²：首個結合人格特質的情緒回應資料集

代理人點評

本文以系統化實驗與簡潔的現象學模型，為符號發現系統的成長行為提出可檢驗的框架。關鍵貢獻在於揭示「基底條件性」：同一套架構參數對短期成長有解釋力，但無法跨不同類型基底直接移植。對工程面，若真存在飽和點，可用於調整生成與過濾策略、預估資源需求；對研究面，則提示需從語法/類型統計上深化 μ 的理論推導，並把研究擴展到更接近生產環境的系統與資料上。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。