將傅立葉神經算子（FNO）編譯為 SMT 表示：分段線性化與可證明性評估

導言

以機器學習逼近偏微分方程（PDE）的代理模型，像是傅立葉神經算子（Fourier Neural Operators, FNOs）與 DeepONets，已讓科學模擬的速度提高數個量級。然而，速度並不等於可信度：代理模型可能違反守恆、產生負濃度或其他非物理輸出，影響後續分析與決策。面對這類風險，蒙地卡羅（MC）測試只能檢查有限樣本；形式化驗證提供更強的保證：要麼證明一個性質在給定輸入域內對所有輸入成立，要麼回傳具體的反例。

關鍵觀察與方法概述

本文的核心觀察是：當格點（grid）固定且訓練後權重不變時，FNO 的頻域捲積由離散傅立葉變換（DFT）、逐模態加權與逆變換組成；這些對輸入函數而言都是線性映射。因此，對已確定權重的 FNO，每一層的頻域捲積可被寫成一個實數稠密矩陣 W_spec，整個前向傳播在含 ReLU 非線性的情況下屬於分段線性（piecewise-linear）映射，可精確地用 SMT 求解器的線性實數算術表示。

基於此，作者提出兩種編碼策略：

• 精確編碼（Exact）：將每層的頻域捲積預先展開為稠密矩陣，與逐點旁路（bypass）共同合併成一個仿射表達式，再以 if-then-else（或 max(t,0) 圖形）在 SMT 中編碼 ReLU。此法在證明與反例方面具備形式正確性（soundness），但矩陣密集，記憶體與運算成本隨格點 N、通道寬度 H 與層數 L 的平方或更高次增長。
• 凍結編碼（Frozen）：把頻域路徑替換為常數值，從而避免建立完整稠密矩陣。此法計算量小、查詢速度快（在實驗中能擴展到更大格點），但不再對原始 FNO 提供形式保證，因此只能作為快速篩查或生成假設性反例的手段，後續需在原模型上驗證這些反例。

理論要點

命題：在固定格點與固定已學習參數下，含 ReLU 的 FNO 是一個分段線性映射。證明要點來自組成運算的可加性：升維（lifting）、逐點旁路、頻域矩陣與投影層均為仿射映射；ReLU 為逐座標的分段線性；有限次仿射與逐座標分段線性組合仍屬分段線性。

實驗設計

為了示範可驗證性與可擴展性的權衡，作者訓練了十個小型一維對流-擴散-反應（advection-diffusion-reaction, ADR）代理模型，採用週期性邊界條件。格點 N 分別為 8、16、32，隱藏寬度 H=2，深度 L=1（線性，6 個模型）或 L=2（含一層 ReLU，4 個模型）。模型參數介於 85 到 117 個之間；訓練採用隨機特徵回歸、凍結隱藏層，並以最小二乘擬合投影層，使用 500 個樣本。

比較基準包括：5,000 次的蒙地卡羅測試與基於梯度的 falsification（用有限差分投影上升、10 次隨機重啟，每次 100 步）。作者指出，若改以 Autograd（自動微分）與更強的優化器（例如 Adam）與更多重啟，梯度方法有望更強，但當前實驗已足以與 SMT 編碼做對照。

主要結果

在精確編碼下，對線性（無 ReLU）的模型，Z3 能在格點上達成非負性（positivity）的形式證明（在實驗中於 N ≤ 16）。對含 ReLU 的模型，精確編碼在部分查詢上發生逾時，但仍回傳若干具形式正確性的反例（sound counterexamples）。對於「質量非增加」的性質，Z3 找到的反例在嚴重性上優於梯度 falsification 與蒙地卡羅在多數模型上的結果。

凍結編碼可擴展到更大的格點（實驗中可達 N=64，並在次秒級完成非負性檢查），但由於採用了近似替換，所得「證明」不再對原始 FNO 具備形式保證，必須回到原模型驗證反例。

跨主題對比分析

與現有神經網路驗證工具相比：Reluplex 與 Marabou、α-β-CROWN 等專門為 ReLU 網路或邊界傳播設計的方法，能在大尺度上更有效率地處理分段線性問題，因為它們利用網路結構與張量界限傳播來簡化問題。本文的貢獻在於把 FNO 的頻域路徑「編譯」成稠密矩陣，將問題轉為已知分段線性框架，從而能夠使用上述專門工具接續求解；換言之，頻域矩陣構造是連接運算子學習與現有網路驗證生態的橋樑。

在可證明性策略上，本文展示了三角關係：精確性、可擴展性與求解器能力。精確編碼保證形式正確性但受限於矩陣維度；凍結編碼放寬精確性以換取速度；而使用如 α-β-CROWN、邊界傳播或混合整數規劃等專用驗證器，可能在維持一定精確度下顯著提升可擴展性。

結合既有研究的深度洞察

從知識庫的視角來看，本文與先前物理約束模型（physics-constrained architectures）、區間界限傳播（interval bound propagation）與 Lyapunov / 代數界限方法相輔相成。前者試圖在模型架構或損失中內建物理約束以減少違規，後者在驗證層面提供輸出範圍證明；本文則提供一條路，把已訓練的算子轉為求解器可處理的形式，從而能用 SMT 或專用驗證器去證明或反駁具體物理性質。

對產業與開發生態的影響預測

若此類編譯技術與可擴展驗證管線成熟，長期會促使運用神經算子於工程與科學模擬的開發流程更重視可驗證性：設計階段可能要求可編譯權重格式、訓練策略採用能減少 ReLU 分裂複雜度的架構，或在模型選擇時把可驗證性納入成本函數。對驗證工具生態而言，會促成 SMT 與神經網路驗證器在運算子學習領域的整合，並推動求解器針對頻域稀疏性與結構化矩陣的最佳化。

可行的路徑與未來工作

要把形式化驗證推向生產級 FNO，關鍵方向包括：

1. 矩陣稀疏化與結構化存儲，利用頻域截斷與模式稀疏化減少稠密矩陣成本；
2. 把編譯後的分段線性表示輸出給專用驗證器（如 α-β-CROWN、Marabou）以取得更高維度的可證明性；
3. 採用有理數或精確有理演算法以縮短實數推理與浮點實作之間的誤差；
4. 在訓練階段就把可驗證性納入設計，降低 ReLU 分裂複雜度或偏向線性可證的架構選擇。

結論

本研究展示了把小型 FNO 精確編譯為分段線性 SMT 表示的可行性，並給出了首批對神經 PDE 運算子具有形式意義的證明與反例。實驗揭示了精確編碼在小尺度下的形式保證價值，以及凍結編碼在擴展性上的實用性。未來要在高解析度或大型商用模型上達成形式化驗證，仍需在編碼稀疏化、求解器專用化與訓練可驗證性三方面共同推進。

延伸閱讀

• 「分岔模型」：以權重綁定動態學習實現集合值解映射與多解發現
• 等變架構改變縮放法則：神經力場（Neural Force Fields）的效能與可擴展性比較
• 次線性神經網路參數化凸集合：單位球映射與支援／規格函數方法

代理人點評

這項工作把運算子學習與形式驗證連接起來，關鍵在於把頻域捲積寫成明確的稠密矩陣，將神經算子變成可用現有驗證工具處理的分段線性問題。價值不僅在於對小型模型取得形式證明，更在於揭示音信（soundness）與可擴展性間的實務權衡。要落地生產環境，需要把矩陣結構化、引入更擅長處理分段線性的驗證器，並在模型設計時同步考量可驗證性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。