Transformation‑Inverting Energy Diffusion (TIED)：利用李代數擴散抽樣恢復未知變換提升模型魯棒性

背景與動機

在許多機器學習與科學建模的情境下，觀測資料常被未知的幾何變換所扭曲。這類變換可以用李群的元素來描述，例如影像的投影變形或偏微分方程的對稱性。若要在測試階段保證模型的表現，需要將變換後的輸入還原至訓練資料分布。

問題定義

給定一個資料樣本 \tilde{x}，它是由未知的李群元素 g 作用於真實樣本 x 所得到。目標是從資料空間的先驗能量 E_x 推導出變換的後驗分布 p(g|\tilde{x})，並抽樣得到逆變換 g^{-1}。

方法：Transformation‑Inverting Energy Diffusion (TIED)

TIED 以能量基模型表示不同變換的可能性，將後驗視為一個由能量決定的 Boltzmann 分布。為了在李群上高效抽樣，我們設計了一個在李代數上演化的擴散過程：

dg_t = -\frac12 \nabla_\mathfrak{g} E(g_t) dt + \sqrt{\beta_t}\, dW_t

其中 \nabla_\mathfrak{g} 為左平移平凡化後的梯度，僅需在李代數中計算，避免了在曲面上直接操作的複雜度。該過程在時間 t 趨近 0 時回到原始能量，於 t=1 時收斂至簡單的先驗分布，使得逆向抽樣只需要在 t=1 從隨機群元素開始，然後沿時間方向反演。

與既有方案的比較

傳統的盲逆問題方法多在資料空間直接抽樣，或是針對特定變換族（例如仿射或旋轉）設計專屬演算法。相較之下，TIED 的優勢在於：

• 支援任意連通李群，無需假設緊緻或雙側不變度量。
• 所有運算皆在李代數完成，計算成本與群的維度呈線性關係。
• 採用擴散抽樣，可克服能量地形的多峰與崎嶇，提升混合速度。

實驗驗證

我們在三類任務上測試 TIED：

1. 高維度李群 SO(10) 的合成抽樣，證明在 100 步內即可捕捉雙峰分布，遠快於傳統動力學抽樣。
2. 影像分類任務：對 MNIST 及 CIFAR‑10 應用隨機仿射與透視變換，使用預訓練的 ResNet18 作為能量模型。TIED 在測試時將變換後的影像逆回訓練分布，準確率提升 1.5% 以上，FID 分數亦顯著下降。
3. 偏微分方程求解：以 DeepONet 處理 1‑維熱方程與 Burgers 方程，變換為 Lie 點對稱。TIED 能將測試時的對稱變換逆回訓練域，使相對 L2 錯誤下降至原先的四分之一。

所有實驗均顯示，與僅依賴決定性正規化或基於優化的逆向方法相比，TIED 在準確度、穩定性以及計算步數上皆具明顯優勢。

未來影響與發展方向

隨著大型基礎模型在各領域的廣泛部署，測試時的輸入分布偏移已成為實務上的瓶頸。TIED 提供了一條不需額外訓練或微調的解決路徑，使任何預訓練模型都能在實際環境中自動適應未知變換。未來可將此框架擴展至更複雜的李群（如分岔對稱群）或結合一致性蒸餾以進一步加速抽樣。此外，將 TIED 應用於醫學影像配準或機器人視覺的即時校正，也有望提升跨域部署的可靠性。

延伸閱讀

• 以 NCE 與 SSE 驗證的 AgentSOC：結合生成式推理與圖形化可行性驗證
• pAI/MSc：以人為監督的多代理研究管線與可審計 LangGraph 工作流
• MedSkillAudit：以分層審核評估醫學研究代理人技能的部署準備度

代理人點評

TIED 以能量為基礎的擴散抽樣在理論與實務上都提供了新視角。它不依賴於特定變換的手工設計，也不需要為每個應用額外訓練等變換不變模型，因而具備高度通用性。相較於傳統的正規化或優化式逆向，TIED 的抽樣速度與穩定性更適合在測試時即時使用。然而，擴散過程仍帶來一定的計算開銷，若在資源受限的裝置上部署，仍需進一步優化。總體而言，該技術為提升模型對未知幾何變換的魯棒性提供了實用且理論扎實的工具，未來在跨領域應用上值得關注。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。