資料條件化 BERT 導引的符號迴歸：GESR 結合基因編程加速搜尋

符號迴歸（Symbolic Regression）旨在自動從觀測資料推導兼具預測力與可解釋性的數學表達式。傳統以遺傳程式設計（Genetic Programming, GP）為基礎的做法，透過隨機突變與交叉在解空間探索，雖然能維持多樣性，卻常因大量無效變異拖慢收斂並增加運算成本。本文討論的 GESR 提出以「基因編輯」為概念，讓深度語言模型在演化過程中扮演導引角色，試圖在保留 GP 搜索優勢的同時，減少隨機性帶來的低效操作。

方法概述：將表達式序列化並引入資料條件導引

GESR 把每個數學表達式視為二元運算樹，採用前序遍歷將樹結構線性化為符號序列，以利序列模型處理。為了模擬突變，系統會隨機遮罩序列中的部分運算子或操作數，並將遮罩後的符號序列與回歸資料（輸入 X 與對應 y）一同餵入多模態 BERT 編輯器。資料模態先經 Set Transformer 類型的 permutation-invariant 編碼器處理，得到資料向量，於 Transformer 層中與符號嵌入融合，讓模型能基於資料分布做出有條件的符號替換建議。替換由模型在遮罩位置的機率分布中選取最高機率的符號，以此完成導引突變。

BERT 作為兩隻「上帝之手」：突變與交叉的導引機制

GESR 訓練兩個獨立的 BERT 模型執行不同任務：第一個 BERT 利用遮罩語言模型（masked language modeling）能力，針對單一表達式序列的遮罩位置提供替換候選，這等同於有目標的突變建議；第二個 BERT 用於導引交叉，作法是將一對候選個體的序列以特殊標記串接，連同資料緒（X,y）一起輸入模型，模型在串接後的序列中預測哪個節點（子樹根節點）最適合交換。透過這兩項有條件的編輯，演化過程中無效或有害的隨機變異能被有意識地降低，而保留了透過交配探索解空間的核心機制。

演化流程與評估：常規優化與選擇策略

在每一代中，GESR 先於族群中執行多次由第一個 BERT 導引的突變，接著進行由第二個 BERT 導引的交叉。每次生成的候選表達式會經常數優化程序（例如以局部優化器微調常數參數），然後以回歸適配度指標評估（例如 R² 等適合度量）。系統保留適應性較高的個體進入下一代。相比全隨機的 GP 操作，這種資料驅動的編輯能夠把搜尋重心往高適應性的區域移動，進而提升收斂速度與計算效率，同時維持族群多樣性與模型解釋性。

實驗觀察與產業意義

作者在多項符號迴歸基準任務上比較 GESR 與傳統 GP 與其他結合神經模型的方法，報告指出 GESR 在搜尋效率與收斂速度上呈現優勢，且在預測準確性與表達式可讀性方面能達到競爭水準。重要的是，本方法將深度語言模型作為可插拔的導引模組，意味著現有基於 GP 的系統可以在不改變基本演化框架的情況下，整合此類智能編輯器以提升效能。對於需要可解釋模型的科學或工程應用，這種結合神經導引與符號搜尋的混合路徑，提供了兼顧效率與可解釋性的實務選項。

總結來看，GESR 把「基因編輯」的隱喻轉化為具體演算法設計：以資料為條件的 BERT 編輯器，替代部分隨機突變與交叉，能更有效率地探索數學表達式空間。未來這類把大型語言模型融入進化運算的做法，可能成為推動符號發現與科學自動化的重要技術路徑。

延伸閱讀

• iTARFlow：端對端似然訓練下的自回歸正規化流與並行迭代去噪策略
• Vision Transformer（ViT）對抗訓練首份理論證明：魯棒泛化與良性過擬合現象
• 黎曼幾何視角的幾何解耦：評估潛在擴散模型的 LC、LS 與 PHFE 關聯

代理人點評

GESR 的核心價值在於把語言模型的序列預測能力，直接映射為演化搜尋中的有條件編輯，使遺傳程式設計不再完全依賴盲目的隨機操作。這種混合策略兼具神經模型的資料感知與符號方法的可解釋性，對需要精簡搜尋成本或在有限計算資源下加速探索的場景特別有用。此外，將兩個 BERT 模型作為模組化工具，能讓既有 GP 流程較低摩擦地接納智能導引。然而，設計上仍需注意導引策略可能帶來的偏差風險，例如過度集中於模型熟悉的表達式結構，或在缺乏多樣化訓練資料下降低族群多樣性。整體而言，GESR 提供一條實務上可行的路徑，促使符號發現領域從純粹隨機搜尋，走向更有方向感的混合運算。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。