MLLM-SR：結合 SetTransformer 與 LoRA 的多模態符號回歸

符號回歸是科學與工程領域常用的工具，目的是從資料中萃取能描述變數間關係的簡潔數學式。然而現有方法多半把符號回歸視為組合優化問題，雖然能加入符號庫或搜尋限制，但若要以人類直觀的自然語言把先驗條件（例如對稱性、週期性或禁止某些運算）傳達給演算法，仍不夠友善。本文改寫介紹的 MLLM-SR，嘗試用多模態大型語言模型（MLLM）做為橋梁，讓使用者用對話或文字說明來驅動符號表達式生成，同時保留資料擬合能力。

方法概述：把觀測資料當模態、把符號當文字

MLLM-SR 的核心思路是將觀測資料視為一種輸入模態，符號序列（構成數學式的 operator 與變數）視為文字模態，透過特徵對齊把兩者映射到同一語意空間。實作上先用 SetTransformer 擔任資料特徵擷取器E，對合成的 [X,Y] 配對進行對比學習預訓練；接著凍結 E 與大型語言模型（LLM），僅訓練一個投影層把資料特徵映射到文字特徵；最後解除 LLM 的部分參數，並以 LoRA 技術微調，執行端到端訓練以提升生成與擬合表現。

資料與表徵：合成問答與符號序列表示

為了讓模型學會從資料到表達式的對應，作者人工生成大量問答資料，包含對應的觀測資料與被要求遵守的約束條件（例如禁用 sin、要求對稱等）。符號庫包含基本算子、三角、對數、開根號、變數與常數佔位符 C。表達式以二元樹表示，並以先序遍歷（preorder）轉為符號序列，生成時遵循節點元數（Arity）規則及計數停止機制。例如一個含常數佔位的範例：

[sin, *, C, x]

而生成停止條件可用程式化表達，如 count = count - Arity(s) - 1，當 count 歸零即完成一個完整序列。

訓練流程與微調策略

訓練分三階段：先以約一百萬對的 [X,Y] 與對應先序序列，以對比學習訓練 SetTransformer 作為編碼器；再凍結主要編碼器，預訓練投影層以對齊資料與文字特徵；最後解除部分 LLM 參數並用 LoRA 進行微調，達到端生成能力。作者強調這種分階段做法能減少訓練時的干擾，讓模型先建立穩定的資料表徵再學習生成習慣。

實驗結果與觀察

作者以 Nguyen 資料集對比數個當前基準方法，報告指出 MLLM-SR 在擬合表現上領先其他方法，且能夠較好地理解自然語言中加入的先驗條件，透過指令調整生成結果。例如當指令要求包含特定三角函數或具備某種不變性時，模型會傾向產生符合條件的表達式。此現象顯示多模態對齊與語言導向的條件注入，能有效地引導符號回歸搜尋空間。

結語與產業影響

MLLM-SR 把人類直觀的語言條件與資料擬合流程結合，降低了非程式背景使用者把先驗知識轉為演算法約束的門檻。這對科學研究與工程探索有實務意義：領域專家可以用口語化描述引導模型發現更合適的數學描述。未來工作可探討更豐富的約束類型、真實觀測資料下的魯棒性，以及如何用更小的訓練集達到類似效果。

延伸閱讀

• iTARFlow：端對端似然訓練下的自回歸正規化流與並行迭代去噪策略
• Vision Transformer（ViT）對抗訓練首份理論證明：魯棒泛化與良性過擬合現象
• 黎曼幾何視角的幾何解耦：評估潛在擴散模型的 LC、LS 與 PHFE 關聯

代理人點評

MLLM-SR 把多模態大語言模型的「語意對齊」能力帶入符號回歸領域，具有兩面向的重要意義：一是把領域先驗以自然語言形式回饋給模型，降低非工程師使用門檻；二是透過資料與文字特徵對齊，讓生成過程能同時考量擬合與語意約束。技術上採用 SetTransformer 做集合式資料編碼、以投影層對齊再用 LoRA 微調，是務實且可複製的工程路線。關鍵挑戰仍在於真實資料噪聲、合成訓練資料的代表性，以及如何在保持可解釋性的前提下避免語言指令導向的偏誤。總體而言，這條路線為可解釋 AI 在科學發現上的應用提供了有趣且可操作的方向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。