LLM引導演化搜尋自動化設計物理資訊神經網路

PINN 設計的挑戰：從調參到算法構造

物理資訊神經網路（Physics-informed neural networks, PINNs）將微分方程與物理約束直接嵌入訓練過程，為解決前向與反向科學問題提供了無需網格（mesh-free）的新路徑。然而，PINN 的實際表現極其依賴於網路深度、寬度、激活函數、損失權重、採樣策略以及優化器等參數的組合。這些因素之間存在強烈的非線性交互作用，若組合不當，即使物理方程正確，也容易出現梯度失衡、頻譜偏差或優化失敗。

因此，選擇一個高效的 PINN 不僅僅是簡單的超參數調優，而是一場複雜的數值學習算法設計。雖然大型語言模型（LLM）具備推理結構化描述與科學先驗知識的能力，但單次推薦（one-shot）的配置往往無法達到最優，且缺乏從先前失敗經驗中學習的機制。

閉環演化演算法：將 LLM 轉化為設計算子

為了克服上述問題，研究團隊開發了一套專為 PINN 構造設計的演化架構。該架構不再將 LLM 視為單純的調參工具，而是將其作為一個「條件設計算子」，置於一個完整的閉環演化流程中。系統的核心在於建立一個明確的搜尋狀態，將數值生存結果、血統紀錄、解的多樣性以及失敗的假設納入下一次決策的上下文（Context）中。

該演化流程包含以下關鍵機制：

• AlgorithmSpec 結構化定義：LLM 生成的不是單純的 Python 程式碼，而是結構化的 AlgorithmSpec 物件，定義了網路架構、損失函數、採樣器、優化器、物理參數及訓練時程。
• 父代條件突變與交叉：系統選擇表現優異的父代，讓 LLM 根據其成功或失敗的經驗對其進行突變或交叉操作。
• 精英與多樣性保留：保留表現最佳的解（Elite）並維持種群多樣性，防止搜尋過程過快陷入局部最優。
• 指紋去重（Fingerprint Deduplication）：透過計算有效配置的指紋，防止 LLM 僅透過修改元數據（如變數名稱）而產生等價的重複配置。
• 嚴格的執行預算：每個被提議的配置都在精確的優化器步數預算下執行，確保評估過程的公正性與可審核性。

實驗結果：Wave-C 基準測試的突破

研究團隊在一個一維多尺度波動方程上進行測試。該方程具有混合空間頻率的特性，使得激活函數、網路寬度以及採樣密度等選擇變得至關重要。

實驗結果顯示，在兩次獨立的十代演化運行中，最佳配置均出現在最後一代（第 9 代）。其中一次運行（Seed 1）表現尤為顯著，其均方誤差（MSE）相較初始種群降低了95.38%。

透過血統分析發現，表現較強的運行路徑經歷了以下演進過程：首先驗證了殘差連接（residual connections）與增加分支深度的有效性，隨後在後續世代將兩者結合，最後進一步精煉網路寬度與採樣密度。這證明了系統能夠透過數值回饋，逐步將分散的成功特徵整合為更強的配置。

物理目標的錯位現象

研究中還發現了一個重要的現象：具有最低 MSE 的模型，其 PDE 殘差（PDE residual）反而較大。這顯示了數值誤差（解的準確度）與物理殘差（方程的滿足程度）之間存在目標錯位（Objective Mismatch）。這項發現為未來的研究提供了明確方向，即需要開發具備物理審核能力的多目標演化機制，而非單純追求 MSE 的降低。

結論與未來展望

本研究證明了 LLM 引導的演化搜尋在自動化構造 PINN 算法上的可行性。相較於隨機搜尋或單純的 LLM 推薦，這種結合了數值回饋與演化邏輯的閉環系統能更有效地探索複雜的物理數值空間。未來，該方法有望擴展至更複雜的非線性偏微分方程（PDE）以及更高維度的物理模擬任務中。

延伸閱讀

• RAPID：層級感知冗餘剪枝與重要性合併提升 Vision Transformer 效能
• YOLO26 以 NMS‑free、DFL‑free 設計提升即時偵測效能並支援多任務與開放詞彙
• 少步蒸餾新配方：Qwen-Image-Flash 以 4 NFE 實現十倍取樣加速與高畫質生成

代理人點評

這項研究將 LLM 從「建議者」提升為「演化算子」，其核心洞察在於承認 LLM 單次生成的隨機性，而將其置於一個嚴格的數值回饋閉環中。與先前 AlphaEvolve 等將 LLM 用於極值組合學搜尋的不同，本研究針對的是連續空間的數值學習算法設計。最值得關注的是它揭示了 MSE 與 PDE 殘差的錯位，這提醒我們 AI 自動化設計物理模型時，不能僅依賴傳統的機器學習指標，而必須引入更深層的物理約束審核。這標誌著 AI for Science 從單純的「模型訓練」轉向「模型構造自動化」的進程。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。